异常检测或事件检测可以通过不同的方式完成：

基本方式

衍生物！如果您的信号与其过去和未来的偏差很大，那么您很可能发生了事件。这可以通过在信号的导数中找到大的零交叉来提取。

统计方式

任何事情的意义在于它通常的基本行为。如果某事偏离均值，则表示这是一个事件。请注意，时间序列中的平均值并不是那么微不足道，也不是常数，而是根据时间序列的变化而变化，因此您需要查看“移动平均线”而不是平均值。它看起来像这样：

移动平均代码可以在这里找到。在信号处理术语中，您通过应用移动平均值来应用“低通”滤波器。

您可以按照以下代码进行操作：

MOV = movingaverage(TimeSEries,5).tolist()
STD = np.std(MOV)
events= []
ind = []
for ii in range(len(TimeSEries)):
    if TimeSEries[ii] > MOV[ii]+STD:
        events.append(TimeSEries[ii])

概率方式

它们特别适合机器学习新手。卡尔曼滤波器是发现异常的好主意。使用“最大似然估计”的更简单的概率方法也很有效，但我的建议是坚持移动平均线的想法。它在实践中非常有效。

我希望我能帮助:) 祝你好运！

h2o 有一个异常检测模块，传统上代码在 R 中可用。但是在版本 3 之后，它在 python 中也有类似的模块，并且由于 h2o 是开源的，它可能适合你的账单。

你可以在这里看到一个工作示例

import sys
sys.path.insert(1,"../../../")
import h2o

def anomaly(ip, port):
    h2o.init(ip, port)

    print "Deep Learning Anomaly Detection MNIST"

    train = h2o.import_frame(h2o.locate("bigdata/laptop/mnist/train.csv.gz"))
    test = h2o.import_frame(h2o.locate("bigdata/laptop/mnist/test.csv.gz"))

    predictors = range(0,784)
    resp = 784

    # unsupervised -> drop the response column (digit: 0-9)
    train = train[predictors]
    test = test[predictors]

    # 1) LEARN WHAT'S NORMAL
    # train unsupervised Deep Learning autoencoder model on train_hex
    ae_model = h2o.deeplearning(x=train[predictors], training_frame=train, activation="Tanh", autoencoder=True,
                                hidden=[50], l1=1e-5, ignore_const_cols=False, epochs=1)

    # 2) DETECT OUTLIERS
    # anomaly app computes the per-row reconstruction error for the test data set
    # (passing it through the autoencoder model and computing mean square error (MSE) for each row)
    test_rec_error = ae_model.anomaly(test)

    # 3) VISUALIZE OUTLIERS
    # Let's look at the test set points with low/median/high reconstruction errors.
    # We will now visualize the original test set points and their reconstructions obtained
    # by propagating them through the narrow neural net.

    # Convert the test data into its autoencoded representation (pass through narrow neural net)
    test_recon = ae_model.predict(test)

    # In python, the visualization could be done with tools like numpy/matplotlib or numpy/PIL

if __name__ == '__main__':
    h2o.run_test(sys.argv, anomaly)

我最近开发了一个工具箱：Py thon O utlier D etection toolbox ( PyOD )。请参阅GitHub。

它旨在通过无监督和有监督的方法识别数据中的异常对象。PyOD 适用于：

• 跨各种算法的统一 API、详细文档和交互式示例。
• 高级模型，包括神经网络/深度学习和离群值集成。
• 在可能的情况下，使用 numba 和 joblib 通过 JIT 和并行化优化性能。兼容 Python 2 和 3（也兼容 scikit-learn）。

以下是一些重要的链接：

• Github

• 派皮

• 文档

• 交互式 Jupyter 笔记本

如果您在科学出版物中使用 PyOD，我们将不胜感激以下论文的引用

@article{zhao2019pyod,
  title={PyOD: A Python Toolbox for Scalable Outlier Detection},
  author={Zhao, Yue and Nasrullah, Zain and Li, Zheng},
  journal={arXiv preprint arXiv:1901.01588},
  year={2019},
  url={https://arxiv.org/abs/1901.01588}
}

它目前正在JMLR （机器学习开源软件轨道）上进行审查。见预印本。

快速介绍

PyOD 工具包由三大功能组组成： (i) 异常值检测算法；(ii) 异常值集成框架和 (iii) 异常值检测实用功能。

个体检测算法：

• PCA：主成分分析（到特征向量超平面的加权投影距离之和）
• MCD：最小协方差行列式（使用马氏距离作为异常值）
• OCSVM : 一类支持向量机
• LOF：局部异常值因子
• CBLOF : 基于聚类的局部异常值因子
• LOCI : LOCI: 使用局部相关积分进行快速异常值检测
• HBOS：基于直方图的异常值分数
• kNN : k 最近邻（使用到第 k 个最近邻的距离作为 - **离群值分数
• AvgKNN：平均kNN（使用到k个最近邻的平均距离作为异常值）
• MedKNN : 中值 kNN（使用到 k 个最近邻的中值距离作为异常值分数）
• ABOD：基于角度的异常值检测
• FastABOD : 使用近似的快速基于角度的异常值检测
• SOS：随机异常值选择
• 森林：隔离森林
• 特征套袋
• LSCP：LSCP：并行异常值集合的局部选择性组合
• XGBOD：Extreme Boosting Based Outlier Detection (Supervised)
• AutoEncoder：全连接 AutoEncoder（使用重建误差作为异常值）
• SO_GAAL：单目标生成对抗主动学习
• MO_GAAL：多目标生成对抗主动学习

异常值检测器/分数组合框架：

• 特征套袋
• LSCP：LSCP：并行异常值集合的局部选择性组合
• 平均：通过平均分数的简单组合
• 加权平均：通过平均分数与检测器权重的简单组合
• 最大化：通过取最大分数进行简单组合
• AOM : 最大值的平均值
• MOA：平均最大化

异常值检测的实用函数：

1. score_to_lable()：将原始异常值分数转换为二进制标签
2. precision_n_scores()：异常值挖掘的流行评估指标之一（精度@等级 n）
3. generate_data()：为异常值检测实验生成伪数据
4. wpearsonr()：加权皮尔逊在伪地面实况生成中很有用

下面提供了所有实现模型的比较：（图、 代码、 Jupyter Notebooks）：

如果您有兴趣，请查看Github以获取更多信息。

我现在和你一样在同一个阶段。我正在寻找异常检测的最佳选择，并进行一些研究。

我发现我认为最符合您的需求，并且与您所看到的相比更好。即，TwitterAnomalyDetection，SkyLine。

我发现更好的是 Numenta 的 NAB（Numenta Anomaly Benchmark）。它也有一个很好的社区支持，对你来说，加分是它的开源和用 Python 开发的。您可以在其中添加您的算法。

对于算法，我发现 LOF 或 CBLOF 是不错的选择。

所以，检查一次。它可能会帮助你。

如果您找到更好的选择，请分享。