机器学习/深度学习在实践中的经验结果

机器算法验证 机器学习 神经网络 人工智能
2022-04-17 05:45:43

机器学习社区经常谈论过度拟合和其他统计问题。有多少模型在实际用例中部署后实际上无法重现良好结果的统计数据?

在许多项目中,利益相关者甚至可能没有注意到部署 ML 模型实际上比以前使用的任何方式都会损害他们的业务。或者,将“机器/深度学习或人工智能”作为公司旗舰营销的想法本身有助于获得更多业务(即使智能部分让事情变得更糟)。

在这方面,是否有一篇论文讨论了应用机器学习已经走了多远?

1个回答

对于私营企业使用的专有模型,我认为不可能回答这个问题。但是有一种学术研究专注于有缺陷的实践,例如本文。

Zachary C. Lipton、Jacob Steinhardt “机器学习奖学金中令人不安的趋势

机器学习 (ML) 研究人员共同致力于创建和传播有关数据驱动算法的知识。在给定的论文中,研究人员可能会追求以下目标的任何子集,其中包括:从理论上描述什么是可学习的,通过严格的经验实验获得理解,或者建立一个具有高预测准确性的工作系统。虽然确定哪些知识值得探究可能是主观的,但一旦主题确定,论文在为读者服务、创造基础知识和尽可能清晰地交流时对社区最有价值。

尽管经常背离这些理想,但机器学习的最新进展仍然存在。在本文中,我们关注以下四种在我们看来是机器学习学术趋势的模式:(i)未能区分解释和推测;(ii) 未能确定经验收益的来源,例如,当收益实际上源于超参数调整时,强调对神经架构进行不必要的修改;(iii) 数学性:混淆或打动而不是澄清数学的使用,例如,通过混淆技术和非技术概念;(iv) 滥用语言,例如选择具有口语内涵的艺术术语或重载既定的技术术语。虽然这些模式背后的原因尚不确定,但可能包括社区的快速扩张,随之而来的审稿人数量稀少,以及学术与成功的短期衡量标准(例如,文献计量学、注意力和创业机会)之间经常错位的激励措施。虽然每种模式都提供了相应的补救措施(不要这样做),但我们还讨论了一些关于社区如何应对这些趋势的推测性建议。