企业内部的数据科学团队如何衡量其技术工作的成本和效率?

数据挖掘 数据分析
2021-09-19 07:52:28

当数据科学团队通常不知道他们所产生的数据集的货币价值和洞察力时,他们如何衡量和提高他们的技术工作成本?他们是否使用基于行业的基准进行技术开发,并使用一些主观测量来创建业务洞察力?

3个回答

我不知道您所说的“衡量和提高他们的技术工作成本”是什么意思 - 但我会回答“您如何知道您的见解为业务带来多少价值”的问题:

要构建一个成功的项目,了解您与之竞争的基线很重要。例如:假设我有一个时间序列预测问题,我正在预测某个公司账户中将有多少现金。一个基线可能是:“让我们假设明天的净现金流量将与昨天的相同”。现在您已经有了这个基准,您可以评估您的解决方案相对于此的性能。

这可以让您深入了解:“我的解决方案优于基准一些 %,并将对未来透支费用的检测提高 90%”。将这 90% 的改进转换为系统检测到的相对于基线的新透支费用总数。这可以转化为每年的一些美元金额 - 你可以说“我的解决方案每年节省业务 $###,###”

了解您要更换的系统可以让您进行比较并跟踪结果。这也是向管理层传达成功的有效策略(这在大型企业中至关重要)。

除了weareglenn 的回答之外,如果数据科学项目正在按照自动化方式进行操作,您还可以查看节省的工时数。这个 XX 小时(每天等)的估计来自在您的项目/解决方案之前手动执行该过程的人员。

如果你想在数字上努力:

  1. A/B 测试:这在电子商务公司中非常流行。数据科学团队部署他们的新方法并与旧方法的影响进行比较

由于各种原因,可能无法进行 A/B 测试。然而,还有更多的选择。

  1. 综合控制方法:部署数据科学产品之后。从数据中提取“假”对照组以了解影响。这是最著名的应用程序之一(https://economics.mit.edu/files/11859

  2. 反事实估计。这些不一定会创建新的控件。但是基于各种偏差的模型,您可以估计几个“假设”情景的影响。为此存在许多软件包。Google 的 CausalImpact ( https://google.github.io/CausalImpact/),Ubser causal ml ( https://github.com/uber/causalml )。如果您想了解有关此主题的更多信息(https://eng.uber.com/causal-inference-at-uber/

通过这些技术中的任何一种,您都可以测量您希望的任何 KPI。增加收入,客户保留等......