目录
原始模型GridSearchRandomizedSearchHalvingGridSearchHalvingRandomSearch总结与对比在建模时模型的超参数对精度有一定的影响,而设置和调整超参数的取值,往往称为调参。
(资料图)
在实践中调参往往依赖人工来进行设置调整范围,然后使用机器在超参数范围内进行搜素。本文将演示在sklearn中支持的四种基础超参数搜索方法:
GridSearchRandomizedSearchHalvingGridSearchHalvingRandomSearch原始模型
作为精度对比,我们最开始使用随机森林来训练初始化模型,并在测试集计算精度:
# 数据读取 df = pd.read_csv("https://mirror.coggle.club/dataset/heart.csv") X = df.drop(columns=["output"]) y = df["output"] # 数据划分 x_train, x_test, y_train, y_test = train_test_split(X, y, stratify=y) # 模型训练与计算准确率 clf = RandomForestClassifier(random_state=0) clf.fit(x_train, y_train) clf.score(x_test, y_test)
模型最终在测试集精度为:0.802。
GridSearch
GridSearch是比较基础的超参数搜索方法,中文名字网格搜索。其原理是在计算的过程中遍历所有的超参数组合,然后搜索到最优的结果。
如下代码所示,我们对4个超参数进行搜索,搜索空间为 5 * 3 * 2 * 3 = 90组超参数。对于每组超参数还需要计算5折交叉验证,则需要训练450次。
parameters = { "max_depth": [2,4,5,6,7], "min_samples_leaf": [1,2,3], "min_weight_fraction_leaf": [0, 0.1], "min_impurity_decrease": [0, 0.1, 0.2] } # Fitting 5 folds for each of 90 candidates, totalling 450 fits clf = GridSearchCV( RandomForestClassifier(random_state=0), parameters, refit=True, verbose=1, ) clf.fit(x_train, y_train) clf.best_estimator_.score(x_test, y_test)
模型最终在测试集精度为:0.815。
RandomizedSearch
RandomizedSearch是在一定范围内进行搜索,且需要设置搜索的次数,其默认不会对所有的组合进行搜索。
n_iter代表超参数组合的个数,默认会设置比所有组合次数少的取值,如下面设置的为10,则只进行50次训练。
parameters = { "max_depth": [2,4,5,6,7], "min_samples_leaf": [1,2,3], "min_weight_fraction_leaf": [0, 0.1], "min_impurity_decrease": [0, 0.1, 0.2] } clf = RandomizedSearchCV( RandomForestClassifier(random_state=0), parameters, refit=True, verbose=1, n_iter=10, ) clf.fit(x_train, y_train) clf.best_estimator_.score(x_test, y_test)
模型最终在测试集精度为:0.815。
HalvingGridSearch
HalvingGridSearch和GridSearch非常相似,但在迭代的过程中是有参数组合减半的操作。
最开始使用所有的超参数组合,但使用最少的数据,筛选其中最优的超参数,增加数据再进行筛选。
HalvingGridSearch的思路和hyperband的思路非常相似,但是最朴素的实现。先使用少量数据筛选超参数组合,然后使用更多的数据验证精度。
n_iterations: 3 n_required_iterations: 5 n_possible_iterations: 3 min_resources_: 20 max_resources_: 227 aggressive_elimination: False factor: 3 ---------- iter: 0 n_candidates: 90 n_resources: 20 Fitting 5 folds for each of 90 candidates, totalling 450 fits ---------- iter: 1 n_candidates: 30 n_resources: 60 Fitting 5 folds for each of 30 candidates, totalling 150 fits ---------- iter: 2 n_candidates: 10 n_resources: 180 Fitting 5 folds for each of 10 candidates, totalling 50 fits ----------
模型最终在测试集精度为:0.855。
HalvingRandomSearch
HalvingRandomSearch和HalvingGridSearch类似,都是逐步增加样本,减少超参数组合。但每次生成超参数组合,都是随机筛选的。
n_iterations: 3 n_required_iterations: 3 n_possible_iterations: 3 min_resources_: 20 max_resources_: 227 aggressive_elimination: False factor: 3 ---------- iter: 0 n_candidates: 11 n_resources: 20 Fitting 5 folds for each of 11 candidates, totalling 55 fits ---------- iter: 1 n_candidates: 4 n_resources: 60 Fitting 5 folds for each of 4 candidates, totalling 20 fits ---------- iter: 2 n_candidates: 2 n_resources: 180 Fitting 5 folds for each of 2 candidates, totalling 10 fits
模型最终在测试集精度为:0.828。
总结与对比
HalvingGridSearch和HalvingRandomSearch比较适合在数据量比较大的情况使用,可以提高训练速度。如果计算资源充足,GridSearch和HalvingGridSearch会得到更好的结果。
后续我们将分享其他的一些高阶调参库的实现,其中也会有数据量改变的思路。如在Optuna中,核心是参数组合的生成和剪枝、训练的样本增加等细节。
到此这篇关于四种Python机器学习超参数搜索方法总结的文章就介绍到这了,更多相关Python超参数搜索内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
X 关闭
X 关闭
- 15G资费不大降!三大运营商谁提供的5G网速最快?中国信通院给出答案
- 2联想拯救者Y70发布最新预告:售价2970元起 迄今最便宜的骁龙8+旗舰
- 3亚马逊开始大规模推广掌纹支付技术 顾客可使用“挥手付”结账
- 4现代和起亚上半年出口20万辆新能源汽车同比增长30.6%
- 5如何让居民5分钟使用到各种设施?沙特“线性城市”来了
- 6AMD实现连续8个季度的增长 季度营收首次突破60亿美元利润更是翻倍
- 7转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 8充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 9好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 10名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?