研究生水平的概率论 (Durett) 是否经常用于 ML、DL 研究?

机器算法验证 机器学习 可能性 数理统计 深度学习
2022-04-21 02:19:20

我对机器学习感兴趣;我特别喜欢 RNN。我在计算机科学的某些领域有过课程,例如数据挖掘、ML 算法优化、深度学习和数学本科学位。我一直在应用 ML 算法。我有一些基本概率论的课程;足以理解 Goodfellow 的深度学习书中的章节。我了解大多数成本函数与概率密度函数的关系。

我想知道; 我对医学应用的深度学习感兴趣。我应该按照Durrett 的教科书学习概率论的研究生水平统计课程,还是应该深入研究深度学习论文和教科书。

我想知道是否有人可以告诉我该怎么做,或者因为这可能会以这种基于意见的请求而结束,所以提供一些例子来说明概率论在他们自己的研究中是如何(a)绝对必要的(要么制作新算法,要么阅读如何其他人做过)机器或深度学习或(b)似乎有点额外(例如,我现在在某种程度上对实际分析有这种感觉;我很久以前就接受了,虽然它提高了我的数学成熟度,但它例如,我经常使用微积分来反向传播错误,而不是分析;可以概念化甚至开发仅对微积分有直觉并且没有诸如分析中发现的严格证明的学习算法)。不要误会我的意思,我喜欢分析并且愿意参加所有可以参加的课程,

例如,我最近参加了一个会议,其中有一个关于 RNN 的非常有趣的演示文稿,该演示文稿使用来自用于对缺失数据建模的高斯过程的输入样本。它是由一位可能拥有概率论的统计学家设计的。我也想设计这样的管道。顺便说一句,我当然是在学习研究生水平的统计推断(这已经被统计学界的朋友热情地推荐了两次,而研究生水平的概率论要么不被推荐,要么被毫无热情地推荐)。

我希望这足够具体,否则很高兴迁移到学术界堆栈交换。

2个回答

作为一名研究贝叶斯深度学习和高斯过程的统计学博士生,我发现熟悉概率很有用。我现在不直接使用结果,因为我正在研究应用问题,但我看到的许多理论工作都是基于非参数技术,例如高斯或狄利克雷过程,并且这些技术被证明具有一些使用概率和功能分析。如果您想要一个(极端)示例,请查找 Aad van der Vaart 的教科书。

换句话说,了解概率论会打开大量统计文献供您阅读。

如果您更关心分类率而不是不确定性量化,那么可能不值得您花时间研究统计数据。但是,如果您正在执行逻辑回归并且受试者 X 的癌症预测为“1”(相对于“0”),您可能想知道对该分类的置信度有多大。

我是否应该按照 Durrett 的教科书学习概率论的研究生水平统计课程

没有我已经看到了零个实例,其中在诸如 Durrett 和 Klenke 等书籍中深入探讨的那种测量理论背景实际上用于 ML。概率和随机变量的理论可以走得很远,并且涵盖了您在 ML 论文中实际看到的所有概念,而没有它。DeGroot & Schervish 或 Pishro-Nik(通读一遍)就足够了。当您开始需要构建随机积分或类似的东西时,测量理论部分就会出现,但在 99% 的机器学习中不太可能。