基于自编译器的时间序列异常检测算法

基于自编译器的时间序列异常检测算法

• 自编码器其实是一种数据压缩或者特征提取算法
• 本质上是神经网络
• 具体步骤如下：

原始时间序列

-> Auto Encoder（Encoder 和 Decoder）

-> 重构后的时间序列

-> 通过重构后的时间序列与原始时间序列的整体误差和局部误差来判断异常点

简单来说，只要输出的时间序列在局部的信息跟原始的时间序列不太一致，就有理由认为原始的时间序列存在着异常。

• 弊端：

1.从理论上说，它只能对一个时间序列单独训练一个模型，不同类型的时间序列需要使用不同的模型。这样的话，其实维护模型的成本比较高，不太适用于大规模的时间序列异常检测场景；
2.对周期型的曲线效果比较好，如果是毛刺型的数据，有可能就不太适用；因为长期的毛刺型数据就可以看成正常的数据了。
3.每次调参需要人为设置一定的阈值，不同的时间序列所需要的阈值是不一样的。

2019/3/9

用Azure和scikit-learn堆栈实时传感器异常检测

首先是对自己的经历介绍：
0:00 ~5:26 介绍了自己之前的的工作污水处理，并附上了之前他们团队的处理方法，使用Iot传感器。
5:26~ first using Azure Machine Learning .
微软机器学习Azure Machine Learning入门概览 - 超伦 - 博客园it has two layers.one is ML studio-Easily define experments(真的让你做的就是带你的模型把生产起点与生产终点带入到模型之中，不需要去顾虑基础设施) next is a market allowing you to translate your api(它不仅仅是在倾听，他还与木星笔记本有一个联系，他都在一个集中的位置每个人从原型进行原型设计7:43) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MHsJbYe4-1572182958478)(:storage\d0b0e9e6-8a7b-4970-855f-80c96ee07858\95c9a2f8.png)]
next is called event (它允许哪些事件中心做什么集线器，用流分析以实际处理这些数据时间，我们实际上可以做实时处理，实时分类)手动筛选每个频道和删除所有债务或修改程序

操作的基本方式也是考虑预测值与原始值之间的差别。

接下来一件事是使用scikit-learn指标来选出效率更高的模型，使用异常检测包（微软）Microsoft‘s anomaly detection API 通过JSON消费的结果。但是it takes a lot of regular air flow that’s actually not anomalies and calls anomalies and those probably are int our case they inflow and infiltration taht we don’t want move.第二步是使用二进制分类器
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AkFFJTZO-1572182958483)(:storage\d0b0e9e6-8a7b-4970-855f-80c96ee07858\4ff8b64b.png)]

High-dimensional and large-scale anomaly detection using a linear one-class SVM with deep learning

建立一个用于高维空间的鲁棒异常检测模型需要一个无监督特征提取器和一个异常检测器相结合。

高维数据集带来的挑战有三个因素：(1)指数搜索空间-潜在特征子空间的数量随输入维数的增加呈指数增长，从而形成指数搜索空间。(2)数据窥探偏差-高维空间中的每一个点都显示为异常。如果有足够多的可选子空间，则每个点至少可以找到一个特征子空间，以使其出现。 作为异常。(3))不相关的特征-高比例的不相关特征有效地在输入数据中产生噪声，这掩盖了真实的异常。

SVM在理论上是有吸引力的，原因如下：当参数被适当配置时，它们提供了良好的泛化，即使训练集有一些偏差；它们是 唯一的解，因为损失函数是凸的；在原则上，当选择合适的核时，它们可以建模任何训练集。

大量的输入特性导致维数现象的诅咒，导致浅层结构的泛化误差增加， 有大量不相关和冗余的特性.因此，用紧凑的数据表示来捕捉大部分变化，既可以减轻维数的诅咒，又可以降低算法的计算复杂度。

最近几年出现的另一类分类算法是深度信念网(Dbns)，它是一种多类分类器和降维工具。DBN是一种多层生成模型，每次从未标注的数据中学习一层特征。然后将提取的特征作为训练下一层的输入。这个 高效、贪婪的学习之后，可以细化权重，以提高整个网络的生成或鉴别性能。DBN的一个主要限制是损失函数是非凸的，因此模型往往收敛于局部极小，不能保证全局极小值的存在。此外, DBN分类器是半监督的算法，需要一些有标记的例子来进行区分性的微调，因此使用无监督的dbn生成模型，称为自动编码器。

优点：混合dbn-1SVM支持向量机避免了非线性核机器的复杂性，达到了目前最先进的自动编码器的精度，同时大大降低了训练和测试时间。

2. background
   2.1 deep and shadllow architectures

• 浅层模型难以捕捉依据关系的函数，可能会导致效率过低。因此，浅层建筑可能导致一个模型 没有很好的概括，除非用大量的例子进行训练，并用足够多的节点来实现，这样就增加了所需的计算资源。
• 深层体系结构可以包括多层表示和抽象，以帮助从复杂数据集中建模和归纳。这使得深层架构能够提供紧凑的表示。 （使用深层结构的原因）

2.2. 1SVM, DBN and hybrid DBN-1SVM

• one-class-SVM
  单级支持向量机被广泛应用于异常检测.它们的一般方法是利用非线性核函数隐式地将数据向量从输入空间映射到特征空间。 特征空间中的映射向量称为图像向量。然后，在特征空间中找到光滑的表面或边界，将图像向量划分为正常和异常测量.通。使用Mercer内核函数，数据向量被隐式映射到更高维的内部产品空间，而没有任何映射功能的知识中发现的边界 隐式特征空间通常在输入空间中产生非线性边界。
• S基于超平面的单类支持向量机
  其中特征空间中的图像向量被尽可能大的超平面从原点分离。向量I含有原点的半空间被认为是异常的。该方案采用二次优化方法拟合超平面。Campbell和Bennett[36]提出了一种线性规划方法与径向基函数(RBF)核一起使用的一类支持向量机。这个公式是基于将超平面吸引到图像数据分布的平均值，而不是最小化。从边界超平面到原点的最大范数距离
• 支持向量机，其中特征空间中的大多数图像向量周围都有一个最小半径的超球面。
  数据向量超球外的l被识别为异常。超球面公式的优化采用二次规划。此外，Tax和Duin已经表明基于超平面的单类支持向量机在径向基核的情况下，成为基于(等效)超球面算法的特例。
• Wang等人[9]用超高速语言构造了一类支持向量机。在特征空间中，在大多数图像矢量周围具有最小有效半径的脂类。
  这种超椭球面形式包括两个阶段。首先，将图像向量划分为一些不同的集群使用Ward的算法[37]。第二，每个集群中的图像向量固定在一个超椭球体上，该超椭球将该集群中的大多数图像矢量封装在一起。不属于任何超椭球内的图像矢量被识别为异常。这个问题被描述为一个二阶锥规划优化问题，它带来了一个更大的问题。比二次规划的计算要求
• Laskov等人利用数据分布的片面性开发了一种特殊的支持向量机，称为单级季度sph。
  ERSVM(QSSVM)这是从Tax和Duin[8]提出的基于超球面的一类支持向量机方法中推广而来的.QSSVM找到一个以原点为中心的最小半径超球面，该超球面封装了特征空间中的大多数图像向量[32]。属于四分之一范围之外的数据向量被归类为异常。这个问题被描述为一个线性规划问题。在……里面[35]使用QSSVM提出了一种分布式方法。在[33，34]中，提出了一种基于线性规划方法的中心超椭球单类支持向量机。
• 相比之下，深度置信网是一种相对较新的多层神经网络。
  DBN是以一种无监督的方式进行训练，以学习训练数据的分层表示，这种表示与训练数据相一致。一个高维流形的池塘。DBN一次训练一个层，即将每一层的潜在变量作为训练下一层的输入。这个高效贪婪的图层ISE训练[38]之后可以进行监督细化，例如添加Softmax或Logistic回归分类器，以提高网络的鉴别性能。半口虎钳DDBN通常用于多类分类.这些方法在复杂数据集上具有较低的复杂度和较高的分类性能，例如用于脑电图检测。Hy波形澄清[39]和三维目标识别[40]，与其他(浅层)分类器(如SVMS)相比

3. DBN-1SVM hybrid model

• 混合模型操作流程：
  训练dbn提取相对不受输入中不相关变化影响的特征，以便该支持向量机能够有效地将正常数据从输入数据中分离出来。M在学习特征空间中的异常。将DBN训练为非线性降维算法，将高维数据转化为低维特征集。从训练样本中提取特征集作为输入，训练出一类支持向量机.随后，从这两种算法生成的模型的混合构造了最终异常检测。
  • 作用：
    可用于测试。实验表明，该混合系统不仅显着地提高了检测率，而且降低了训练的计算复杂度。测试
• 3.1. Deep belief nets (DBNs)
  • DBN是一种多层生成模型，每次从未标注的数据中学习一层特征。DBN的两个重要特性是它们执行非线性维数缩减的能力。在非常大的数据集上学习高维流形 (后面是有关1SVM的数学推导 跳过)

标签：训练,DBN,特征,算法,编译器,序列,异常,向量
来源： https://blog.csdn.net/qq_40364351/article/details/102772001