业务异常报告

数据挖掘 推荐系统 可视化
2021-09-14 17:18:08

我在一家大型金融服务公司担任分析职务。我们每天都会对很少以有意义的方式改变的指标进行大量的每日报告。从这份每日报告中,我们的管理层需要提取昨天重要的内容以及随着时间的推移已经发展/正在发展的重要趋势。

我想将其更改为每日异常报告和每周趋势报告的模型。

功能可能包括:

  • 用户报告合并(因此每天只有一封电子邮件)
  • 根据过去表现的差异程度报告排序(首先查看最重要的内容)
  • HTML 电子邮件支持(对我的听众来说,非常重要)
  • 允许更改首选项的 Web 界面,包括 LDAP 支持(使管理更容易)
  • 报告级别的退订功能

这是我想知道的:

  • 我可能会遇到哪些实际问题?
  • 显示新报告的最佳方式是什么?
  • 我应该如何定义“异常”?我怎么知道我的定义是否正确?
  • 我假设我会混合使用 Python、SQL 和 powershell。还有什么我应该考虑的,例如R?有哪些好的资源?
4个回答

尝试探索“时间序列中的异常检测”这个丰富的领域。控制图和 CUSUM(或累积和控制图)可能会对您有所帮助。

简单的子弹图可能就是您所需要的。根据历史数据和领域知识,定义正态方差。然后在当前值超出预定义范围时向利益相关者明确说明。

Stephen Few 是业务仪表板方面的专家。他的任何一本书都会对你有所帮助。

如果您对 R 持开放态度,请尝试使用Shiny创建简单的交互式 Web 应用程序(非常简单)。还有一个用于异常检测的开源包,包括本地和全局。

创建快速原型并获得反馈!

最佳解决方案在很大程度上取决于多种因素,包括您的(当前和未来)业务和 IT 流程、利益相关者的需求和偏好,以及总体而言的业务和 IT 架构。因此,恕我直言,很难回答这个广泛且定义不明确的问题。话虽如此,我希望您能Data Science StackExchange上找到我的以下早期答案相关且有用。

我认为这一点是您问题的核心:

  • 我应该如何定义“异常”?我怎么知道我的定义是否正确?

我会这样做:

  • 回到收到当前报告的经理那里,请他们给您提供实际是异常的报告异常的示例,即他们被采取了行动并且该行动产生了一些好处。
  • 还询问他们该报告中是否有任何不明显可见的功能,但让他们认为这是一个例外,例如没有报告月环比差异,但可以从周环比计算得出。周差。

将第一个例子作为训练的标签;您想了解“什么是例外”,并且需要专家为您回答该问题。

将建议的特征视为分类的新特征。

如果您无法让专家回答您提出的问题,请尝试从他们与您的报告的互动中推断出他们:下载了多少这些报告,它们被提及了多少次,它们在决策中的使用情况。 .. 试着把重要的和不感兴趣的分开,你就有了你的标签。

以下是我个人经验中的一些实用建议-

  1. 首先要做的是让管理层相信变革会变得更好。示例报告的模型在这里非常有用。

  2. 即使管理层同意,他们仍然想知道为什么会出现差异,因此您需要能够提供更多数据。

  3. 尽管异常报告是最好的,但管理层无论如何都希望看到所有内容,因为这样做会让他们感觉好像他们在做一些有用的事情。

  4. 不要一次改变一切——一次太大的改变会引起阻力。

  5. 对于如何最好地呈现数据,请阅读 Edward Tufte 的书,至少是他的第一本书,“定量数据的视觉显示”。

  6. 定义什么是例外可能很困难,因为每个接收者都有自己的想法。比如说,95% 的置信区间是好的,但它不会被普遍喜欢。有些人会认为任何高于 X 美元的变化都很重要,而另一些人则希望看到与上一时期相比超过 X% 的所有变化。玩得开心这部分:(