似乎数据挖掘和机器学习变得如此流行,以至于现在几乎每个 CS 学生都知道分类器、聚类、统计 NLP 等。所以现在找到数据挖掘者似乎并不是一件难事。
我的问题是:数据挖掘者可以学习哪些技能使他与其他人不同?让他成为一个不容易找到的像他这样的人。
似乎数据挖掘和机器学习变得如此流行,以至于现在几乎每个 CS 学生都知道分类器、聚类、统计 NLP 等。所以现在找到数据挖掘者似乎并不是一件难事。
我的问题是:数据挖掘者可以学习哪些技能使他与其他人不同?让他成为一个不容易找到的像他这样的人。
我多次看到开发人员使用 ML 技术。这是通常的模式:
简单的答案是(大多数)软件工程师在统计和数学方面非常薄弱。这是任何想与他们竞争的人的优势。当然,如果统计人员需要编写生产代码,他们就会离开他们的舒适区。真正罕见的角色是数据科学家。可以编写代码来访问和处理大量数据并从中找到价值的人。
它是关于什么的
仅仅了解技术就像了解动物园里的动物——你可以命名它们,描述它们的特性,也许在野外识别它们。
了解何时使用它们,在应用程序领域内制定、构建、测试和部署工作数学模型,同时避免陷阱——在我看来,这些是区分的技能。
重点应该放在科学上,对商业、工业和商业问题应用系统的、科学的方法。但这需要比数据挖掘和机器学习更广泛的技能,正如 Robin Bloor 在“数据科学咆哮”中令人信服地论证的那样。
那么一个人能做什么呢?
应用领域:了解与您或您的雇主感兴趣的各种应用领域。与了解模型是如何构建的以及如何使用它为该区域增加价值相比,该区域通常没有那么重要。在一个领域取得成功的模型通常可以移植并应用于以相似方式工作的不同领域。
比赛:尝试数据挖掘比赛网站Kaggle,最好加入其他人的团队。(Kaggle:预测建模竞赛的平台。公司、政府和研究人员展示数据集和问题,世界上最好的数据科学家竞相提出最佳解决方案。)
基础知识:有四个:(1)扎实的统计学基础,(2)相当好的编程技能,(3)理解如何构建复杂的数据查询,(4)构建数据模型。如果有任何弱点,那么这是一个重要的起点。
在这方面引用几句:
``我很早就知道知道某事的名称和知道某事之间的区别。你可以用世界上所有的语言知道一只鸟的名字,但是当你完成后,你对这只鸟一无所知......所以让我们看看这只鸟,看看它在做什么——那就是什么才是最重要的。''——理查德·费曼(Richard Feynman),“科学家的形成”,第 14 页,你在乎别人怎么想,1988 年
记住:
``执行这些商业科学[数据科学]项目所需的技能组合很少集中在一个人身上。确实有人可以在以下三个方面获得广泛的知识:(i)业务做什么,(ii)如何使用统计数据,以及(iii)如何管理数据和数据流。 如果是这样,他或她确实可以声称自己是特定领域的商业科学家(又名“数据科学家”)。但这样的人几乎和母鸡的牙齿一样罕见。''——Robin Bloor,数据科学咆哮,2013 年 8 月,内部分析
最后:
“地图不是领土。”——Alfred Korzybski,1933 年,《科学与理智》。
最真实的、应用的问题不能仅从“地图”中获得。要用数学建模做实际的事情,必须愿意对细节、微妙之处和例外感到肮脏。没有什么可以代替对领土的第一手了解。
我同意所说的一切。对我来说突出的是:
这里有几件事可以让你在人群中脱颖而出:
适用于所有三点的总体信息:看大局,不要迷失在细节中。