自我介绍一下:我知道什么是RL,知道一些RL算法比如PPO、A2C。了解离线 RL,在线 RL。我读过很多关于 RL 的论文。比如 MuZero、AplhaZero、Decision Transformer 等。我对监督学习也很了解。了解从 MPL 到现代 Transformers 的许多架构。我可以解决很多任务。我读过很多关于监督学习的论文。例如 DETR、VIT、T5、BERT、GPT-3 等等。我从无监督学习中知道一些事情。我读过一些论文,如 DINO、UP-DETR、SIMCLR 等。昨天我知道了 SwAV。我要读纸。并详细了解无监督学习中的聚类。为了创建神经网络,我使用 pytorch。
我是大学的学生。我想成为专业的人工智能研究员。并想在 FAIR 工作。
问题:
接下来我应该学什么?我必须具备哪些技能才能成为 AI 研究员?请给出从我当前级别到研究人员级别的完整路线图。谢谢你。
机器学习路线图不适合初学者
作为美国前三名大学的专业研究员,我将给你我的观点。请注意,每个人的道路都是不同的,所以要多听意见。最好的提示和建议将成为这些意见的一部分,因此您将对可能的路径有所了解。另外,请注意,我不会假设您是一名神童,您可能会从大学辍学,而 FAIR、Google 等公司会收留您并将您培训为研究人员。我的建议将主要集中在增加成功机会的平均水平上。
首先,成为专业研究员和在FAIR工作是两件不同的事情(当然可以同时或不同时间实现)。现在,要成为一名专业研究人员,您将需要专业培训 = 博士课程。博士年是您将接受培训以进行原创研究的年份。所以攻读博士学位应该是你中期(毕业后)的第一目标。
请记住,作为 FAIR 的研究科学家,您将需要定义自己的研究路径,该路径应与您所属的更大研究人员群体的目标保持一致。这意味着您需要提出正确的问题。有趣的问题可能会导致有趣和有影响力的工作。当然,这意味着您非常了解您研究主题的文献。此外,通常 FAIR、Google 等的研究科学家已经从他们的博士/博士后获得了一些很好的有影响力的研究亮点,并且公司有兴趣将这些研究方向纳入他们的研究方向。换句话说,他们有一些有价值的东西可以“推销”,而不仅仅是好的技能。
这引出了我的下一点:专业化。如果您的目标是在 FAIR(而不是谷歌)担任研究科学家,您需要说明为什么 FAIR 的具体原因。你喜欢他们研究的具体内容吗?例如,如果您想成为 RL 专家,这可能不一定会引导您进入 FAIR,因为与例如 Google 相比,他们在 RL 上的投资并不多。这些是你需要考虑的事情。
如果您不开始专注于您想要做的事情以实现您的目标,那么在 ML 中到处都有一些经验不会带您到任何地方。我们谈论的是马拉松而不是短跑,所以你需要考虑长期目标(未来 10 年的计划)。
了解架构并拥有零 ML 基础不会让您在该领域走得太远。随着您获得经验,开始了解执行 X 的方法/技术的组/系列。例如,您可能了解 PPO、A2C,但您可能不知道策略梯度方法和价值方法之间的区别。这些是您需要考虑的事情,以便您采取更专注的道路。成功的研究人员非常了解他们的领域,并且可以提出成功的后续步骤来突破他们的领域边界。您需要建立一个更一般的理解,而不仅仅是了解架构。这引出了我的最后一点:数学。
作为 ML 研究人员,擅长数学和统计是非常有价值的。是的,选择艰难的道路并在您所在领域的数学中变得出色。不要听人说你不需要数学。
其他几件事:尽早加入研究小组,找出你喜欢的东西。如果需要,就读研究硕士或理学硕士,特别是如果您需要更多课程。向人们发送电子邮件以获得建议并一次又一次地提出问题!尝试早点发表,然后申请博士学位。选择一个好的主管,同时也是一个导师(非常重要,因为有些人在没有指导的情况下进行监督)。你最终可能会进入一个竞争非常激烈的实验室,但主管可能会很忙,以至于你从他/她那里什么也得不到。想想你从项目/合作/学徒等中得到了什么。始终保持你的数学和编码技能敏锐。最后(再次)集中注意力,缩小你感兴趣的研究领域。
我试图尽可能多地覆盖。祝一切顺利,记住锻炼耐心和毅力!