商业环境中统计分析的良好实践

机器算法验证 商业智能 咨询
2022-01-22 11:18:29

(虽然我意识到这并不是严格意义上的统计数据,而是关于商业环境中统计数据的传播,所以我认为它仍在 CV 的主题范围内)

简要介绍一下背景:

我们的业务环境(我怀疑其他环境)有专门从事统计分析和研究的支持功能。我们与商业智能密切合作,并受其他部门委托制作作品。实际上,数据、分析和结论不属于我们:我们收集数据、进行分析并得出结论供专员在其工作中使用。

我想做的事:

目前,我们采取了相当自由放任的方法。在委托工作、收集数据(或通过商业智能提取,如果存在的话)、分析数据并将最终的结论发送给专员时,会分配支持职能中的一个人。这已被粗略地证明是合理的,因为通读分析不是专员的职责;我们作为支持部门的职责是确保我们为专员想要探索的问题/主题提供正确的分析。

我想在制作方法上调用更多结构

a) 我们对更高质量的分析;

b) 当我们的分析可能导致错误的决定时提供辩护;和做

c) 我们的分析更加透明,因此我们不会被视为获取数据并吐出结果的“黑匣子”。

我最初的想法是:

  1. 为每项工作制作一份技术文档,证明所采用的方法、所做的假设、发现的问题、存在的不确定性等。虽然这不一定会被每个人阅读,但它应该用作向专员使用得出的结论的后果。这将一些风险转移到了它认为应该属于的地方:与专员。

  2. 将所有分析限制在 Stata、SPSS 或 R 等软件包中,并要求与技术文档一起生成一整套代码。我们所有人都有使用 Microsoft Excel 进行某些类型分析的习惯(坏习惯比什么都重要)。然而,Excel 并不能促进分析的简单再现性。当我们的分析受到质疑时,这有助于捍卫支持功能,在我们的方法中创造透明度,但也使(3)的作用更容易:

  3. 为每件作品分配一名审阅者,他必须在作品发送给专员之前“会签”该作品。通过会签,它将分析的完整性分配给 2 个人,并鼓励他们一起工作(2 个负责人优于 1 个负责人)。这应该会提高分析的质量并提供一些防御性。

是否还有其他方面的良好实践可以应用于这种商业环境?

4个回答

我的建议是两个词(TL;DR 模式):可重复的研究

有关更多详细信息- 主要是为了不重复我自己 - 让我向您推荐我在 StackExchange 其他地方的相关答案。这些答案代表了我对这些主题的想法(和一些经验):

最后说明(抱歉,如果您觉得很明显):无论您的业务环境类型如何(顺便说一下,不清楚),我都建议从业务方面开始并创建一个数据分析架构,它(如所有与 IT 相关的)应业务架构保持一致,包括业务流程、组织单位、文化和人员。我希望这会有所帮助。

更新:关于创建新的或改进现有的数据分析架构(在企业架构术语中也称为数据架构),我认为这两组演示幻灯片也可能有用:thisthis

在银行业中,建模必须遵守模型风险管理指南,例如OCC 2011-12我认为即使您不在银行业,这也是一份有趣的文件。

MathWorks 有这篇关于建模标准的文章。

由于建模涉及以一种或另一种形式编写软件,因此我使用软件开发方法的元素,尤其是在涉及测试单元测试时。我还使用软件配置管理工具,例如 SVN。在管理复杂的软件项目(例如问题跟踪系统CMS )方面,建模团队可以从程序员那里学到很多东西。

最重要的事情之一是方法论和过程,模型开发生命周期。创建如何开发模型的指南,并对其进行测试,列出标准工具和测试等。例如,选择一两个拟合优度测试,并在任何地方使用它们。

创建所有内容的模板:建模脚本、白皮书、演示文稿等。例如,我有所有文档的 LaTeX 模板,所以我们的白皮书看起来非常相似,每个人都知道在哪里寻找信息。我们有标准部分,例如描述性统计和标准列,例如峰度、第一次和最后一次观察日期等。

有实验室日志。这是硬科学的人应该在博士学位中学到的一件事:记录所有研究、想法,尤其是决策。当您决定使用 ARIMA 而不是 GARCH 时,请将其记录在实验室日志中并描述您做出决定的原因。未来人们往往会忘记决策背后的基本原理,因此记录它们很重要。不幸的是,社会科学背景的人没有保留实验室期刊的习惯,这是个问题。

良好实践的另一个方面是初始调试阶段的纪律。这可能包括基本的事情,例如书面同意专员的要求(以避免误解和随后的纠纷)和澄清业务中谁有权委托工作(确保该职能解决实际业务需求而不是解决实际业务需求的第一步)只是沉迷于任何有好主意的人)。

委托中的纪律还应促进在就要开展的工作达成一致之前进行建设性对话。那些委托人可能对他们需要什么有一个模糊的概念,但很难准确地制定它,或者如果他们确实提供了一个精确的公式,它可能不是与他们的业务需求最相关的(例如,他们可能会要求调查短期销售额下降的原因,而他们真正感兴趣的是推动销售的长期因素)。统计学家和研究人员可能擅长制定精确的问题或工作计划,但不太能够确定什么对企业有用。我建议与学术研究中的良好实践平行,它区分研究问题在这些主题中确定相当广泛的兴趣主题和研究假设和目标,这些主题足够具体,可以导致明确的研究。因此,将专员视为产生研究问题的等价物,而将统计学家和研究人员视为帮助他们确定与这些问题相关的更具体的工作计划可能会有所帮助。

我认为你已经在这个问题中得到了部分答案——“良好的结构”是关键。

我是一名工程师,并且一直在强调类似应用程序的角色中工作 - 向您介绍问题以提供分析和改进结果的帮助,但担任顾问而不是实施者角色。

我见过的最好的方法是那些不太规范或松散的方法,以确保有足够的证据证明工作是认真完成的——我认为这就是你所追求的。

六西格码(在我工作过的某些地方这有点脏)和其他方法提供了一个框架来接近、解决和嵌入解决方案。因为它们是基于框架的,所以它们可以被审计。关键是要确保每个人都接受过方法论方面的培训,并拥有一个可审核的良好模板。

例如,您可能希望解决方案符合标准——这不是由所使用的程序定义的,而是您是否可以在以后审核使用的分析步骤并满意任务已按标准完成。提供里程碑 - 例如,您可以审计的检查点将比在项目结束时尝试审计更容易。

回到六西格码,一些方法可能是在定义阶段进行审计,在测量和分析之后,最后在结论(在改进和控制之后)。

六西格码当然不是在所有情况下都是最好的,但我可以推荐它作为一个潜在的起点。