背景
我是一名数据科学家,我被要求提出一组指标/KPI 来评估我的年度绩效,而奖金(以及在最坏的情况下被解雇)之类的事情取决于此。当然,我也希望他们与我个人的数据科学家成长目标保持一致。我的立场包括:
- 从头到尾从事机器学习项目(获取数据访问、探索、建模、结果、演示、帮助生产等)
- 分析某些主题以向管理层提出建议
- 其中一部分可能是教育利益相关者使用新工具自行分析
我观察到,在衡量成功方面,数据科学家的工作相当复杂,而绩效评估指标之类的东西则更难设计。
我的直觉:
一方面,部署的机器学习模型的数量之类的东西似乎是一个可直接衡量的指标,但另一方面,所有模型都不尽相同。有些可能需要很多时间,而另一些可能会相对较快地准备好。分析/探索的主题数量也是如此,因为在探索中所需的努力可能比在建模中变化更多。
我唯一可以明确说明的是所开发的机器学习模型或通过探索/分析做出的商业决策的累积商业价值。然而,这给利益相关者带来了很多责任,增加了与我们团队接触所需的间接工作(设计这个价值),利益相关者可能会犹豫与我们接触。另一方面,我认为利益相关者应该清楚他们正在研究的每个主题的价值,以及他们要求其他团队研究的主题。
除了商业价值,我还考虑包括一些东西来评估每个建模项目或分析的质量,比如质量分数,以推动我提高方法的质量,更好地呈现等等。但我不确定量化此类事物的整体质量是否可行并且始终如一地表明它的意图。
问题:
对于这样的数据科学家来说,(通常)什么是好的绩效评估指标?
或者
设计这些指标的技术方法应该是什么?