机器算法验证 - 时间序列的简单异常值检测 - 吾爱随笔录

时间序列的简单异常值检测

机器算法验证 Python 异常检测

2022-03-02 19:19:14

我想为时间序列生成一个非常简单的异常检测示例。所以我用一个非常明显的异常值创建了样本数据。这是数据的图片：

问题是，到目前为止，我还没有任何方法可以可靠地检测异常值。我尝试了局部异常因子、隔离森林、k 最近邻和 DBSCAN。根据我的阅读，至少其中一种方法应该是合适的。我也尝试调整参数，但这并没有真正帮助。

我在这里犯了什么错误？方法不合适吗？

下面是一个代码示例。

提前致谢！

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(1)

t=np.linspace(0,10,101).reshape(-1,1)
y_test=0.5+t+t**2+2*np.random.randn(len(t),1)

y_test[10]=y_test[10]*7

plt.figure(1)
plt.plot(t,y_test)
plt.show;

from sklearn.neighbors import LocalOutlierFactor

clf=LocalOutlierFactor(contamination=0.1)
pred=clf.fit_predict(y_test)

plt.figure(3)
plt.plot(t[pred==1],y_test[pred==1],'bx')
plt.plot(t[pred==-1],y_test[pred==-1],'ro')
plt.show

from sklearn.ensemble import IsolationForest

clf=IsolationForest(behaviour='new',contamination='auto')
pred=clf.fit_predict(y_test)

plt.figure(4)
plt.plot(t[pred==1],y_test[pred==1],'bx')
plt.plot(t[pred==-1],y_test[pred==-1],'ro')
plt.show

from pyod.models.knn import KNN

clf = KNN()
clf.fit(y_test)
pred=clf.predict(y_test)

plt.figure(5)
plt.plot(t[pred==0],y_test[pred==0],'bx')
plt.plot(t[pred==1],y_test[pred==1],'ro')
plt.show

from sklearn.cluster import DBSCAN

clf = DBSCAN(min_samples=10,eps=3)
pred=clf.fit_predict(y_test)

plt.figure(5)
plt.plot(t[pred==0],y_test[pred==0],'bx')
plt.plot(t[pred==1],y_test[pred==1],'ro')
plt.show

3个回答

对于这种类型的异常值，过滤器应该可以工作。例如，移动平均线是一个过滤器，可以在趋势/噪声分解框架中应用：

T_{i} = \frac{1}{n} \sum_{k = 0}^{n - 1} x_{i - k} N_{i} = x_{i} - T_{i}

$T_i=\frac 1 n\sum_{k=0}^{n-1}x_{i-k} \\N_i=x_i-T_i$

当噪声分量“太大”时，它表示异常值。

这是一个 Python 实现：

for i in np.arange(len(T)):
    T[i] = np.mean(y_test[np.max([0,i-m]):(i+1)])

plt.plot(t, T)
N = y_test[:,0] - T
plt.figure()
plt.plot(t,N)
plt.show()

np.std(N)

您的系列情节与趋势：

噪声图：

如您所见，噪声分量在异常值处跃升至 30，而噪声的标准差约为 4。您还可以计算噪声的移动窗口色散，并在噪声超出运行波动率时检测异常值。

此过滤器与称为Grubbs的异常值测试非常相似。在这里，我使用移动窗口作为 Grubbs 测试中的示例。

适当的参数化方法称为干预检测http://docplayer.net/12080848-Outliers-level-shifts-and-variance-changes-in-time-series.html您在其中包括/考虑可能的 ARIMA 过程来识别潜在的确定性结构（在您的示例中为 1 个脉冲）

我不知道这个过程在python中是否可用。

异常值的绝对值还可以（在右侧，正常值也一样高），它只是异常值，因为它显着偏离了它周围的时间步长。当仅将单个样本传递给异常检测器时，这是不可能学习的，而是必须使用一些时间窗口。这可以像使用前 N 个样本作为每个时间步的特征一样简单。所谓的滞后特征。Windows 大小是一个超参数，在这种情况下 2-10 应该可以正常工作。由于差异可能提供信息，因此也可以计算并传递这些差异。在这种情况下，隔离森林可能会捕捉到异常。不过，具有小型 LSTM 或 GRU 的自动编码器可能是更好的选择，同样使用较小的时间窗口。

其它你可能感兴趣的问题

上一篇核密度估计和边界偏差下一篇如何找到分类结果的统计显着性差异？