寻找估计量的最佳参数值的遗传算法

数据挖掘 优化 超参数 遗传算法
2022-02-17 10:26:35

我正在用 Python 制作一些随机训练集成类,我想获得超参数值。对于中等数据集,网格搜索将花费太长时间,因为在我的随机训练中,我在不同的 dropout 上训练不同的学习者,就像在交叉验证中一样,然后我对 dropout 的最佳错误进行平均或加权平均。有了这个集合,我想在每次迭代中获得最佳参数值,所以我想使用遗传算法方法。

我在 Github 上找到了一个示例,但未能安装,我正在寻找更多关于遗传算法的参考资料。谁能帮我?

2个回答

在专业项目和我自己的娱乐中广泛使用遗传算法后,我认为最好为特定项目编写自己的一组函数/类。如您所见,那里有很多用心良苦的开源 GA 包。但是,良好 GA 所需的许多精细细节和调整都是针对特定问题的。直接使用您现有的数据结构也更方便,而不是适应别人的世界观。换句话说,在应用其他人的 GA 包时,成本效益似乎并不奏效。您需要一个用于创建随机实例的函数、一个用于检查它是否有效的函数、一个用于对其进行评分的函数以及一个匹配函数。差不多就是这样!

我不知道算法本身的细节,但如果你使用 Python,这个模块可以帮助你:

https://epistasislab.github.io/tpot/

我正在使用它,它似乎工作得很好。