0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

时间序列分析的异常检测综述

可靠性杂坛 来源:北斗系统 2024-03-11 09:36 次阅读

时间序列分析是一种非常实用且强大的威廉希尔官方网站 ,用于研究随时间变化的数据,例如销售、交通、气候等。异常检测是识别偏离数据正常趋势的值或事件的过程。在本文中,我将解释什么是时间序列,它的组成部分是什么,它与其他类型的数据有何不同,如何检测时间序列中的异常,以及进行此类检测的最常见威廉希尔官方网站 。

时间序列分析简介

时间序列是在不同时点记录一个或多个变量值的数据。例如,每天访问网站的人数、每月城市的 average 温度、每小时的股票价格等。时间序列非常重要,因为它们允许我们分析过去,理解现在,并预测未来。此外,时间序列帮助我们发现数据中的隐藏模式和趋势,这些可以用于改进决策和策略。

然而,时间序列分析也带来了挑战,并且与非时间数据分析有所不同。主要区别之一是时间序列是时间依赖的,即数据的排序和范围是相关且不能被忽视或更改的。另一个区别是时间序列通常是非平稳的,即它们的统计属性(如均值和方差)会随时间变化。这使得应用传统的统计方法变得困难,这些方法假设数据的平稳性。

此外,时间序列分析需要对异常检测采取不同的方法。异常是显著偏离数据正常趋势的值或事件。异常可能是由测量错误、结构变化、欺诈活动、特殊事件等引起的。异常检测很重要,因为它可以提供隐藏在数据中的问题或机会的宝贵见解。然而,检测时间序列中的异常比非时间数据更复杂,因为必须考虑到数据的时序依赖性、非平稳性和动态性质。

时间序列分析的基本概念

在我们详细讨论时间序列分析和异常检测威廉希尔官方网站 之前,我们需要定义什么是时间序列及其组成部分。时间序列是在不同时点测量的一个或多个变量值的序列。

时间序列有三个主要组成部分:日期、时间和特征。日期和时间指示了何时测量变量值。特征是我们希望分析的变量。在我们的示例中,日期是月份的一天,天气是星期几,特征是访客数量。

为了能够分析时间序列,我们需要满足某些要求。第一个要求是有足够的数据点,即随时间变化的变量观测值。所需的数据点数量取决于我们想要进行的分析类型以及数据收集的频率。例如,如果我们想要分析数据的季节性,即数据作为时间的函数的周期性变化,我们需要至少一个完整的观测周期,涵盖所有可能的季节。如果数据每天收集一次,我们需要至少一年的数据才能分析年度季节性。

第二个要求是对数据的领域有深入的了解,即数据生成的背景和变量的含义。这有助于我们解释分析结果并识别异常的可能原因。例如,如果我们分析网站的访客数量,我们需要知道网站的类型、目标受众、目标、影响流量的因素等。

第三个要求是对分析目标有清晰的定义,即我们想要从数据中发现什么以及我们想要如何使用它。分析的目标可能因用例和研究问题而异。例如,我们可能想要分析时间序列有:

描述数据随时间的行为及其主要特征

基于过去的值预测未来的数据值

检测数据中的异常及其原因

测试关于数据及其关系的假设

优化数据驱动的决策和行动

理解时间序列中的异常

在我们查看如何检测时间序列中的异常之前,我们需要了解异常是什么以及它们如何在数据中表现出来。异常是显著偏离数据正常趋势的值或事件。异常可以分为两种类型:点状或集体。点状异常是与时间序列中的其他值非常不同的孤立值。集体异常是与时间序列的其他部分不同的一组值。

例如,在下面的图中,我们可以看到一个月内每天记录网站访客数量的时间序列。点状异常用红色标出,集体异常用蓝色标出。

91aee00c-de9a-11ee-a297-92fbcf53809c.png

异常可能有不同的原因和含义。一些异常可能是由于测量、传输或数据处理错误引起的。这些异常通常被称为噪声,可以被忽略或纠正。其他异常可能是由于结构性变化、欺诈活动、特殊事件或其他影响数据的因素引起的。这些异常通常被称为信号,检测和分析它们可能很重要。

为了检测时间序列中的异常,我们首先需要对数据随时间的正常运动有所期望。这些期望是基于对时间序列的主要组成部分的分析,这些组成部分是:

趋势,即数据长期变化的方向和速度。例如,上升趋势表明数据随时间增加,而下降趋势表明数据随时间减少。

季节性,即数据作为时间的函数的周期性变化。例如,年度季节性表明数据具有每年重复一次的循环模式,例如玩具店的销售在12月增加而在1月减少。

周期性,即数据作为时间的函数的不规则变化。例如,经济周期性表明数据具有依赖于外部因素(如GDP、通货膨胀、失业率等)的波动趋势。

噪声,即数据作为时间的函数的随机变化。例如,噪声可能是由测量、传输或处理错误引起的。

在下面的图中,我们可以看到一个具有上升趋势、年度季节性和噪声的时间序列示例。

91b77492-de9a-11ee-a297-92fbcf53809c.png

当分析时间序列时,我们需要考虑这些组件并了解它们如何随时间变化。一个或多个组件的变化可能会引起异常。因此,通过理解和建模时间序列的趋势、季节性、周期性和噪声,我们可以建立对正常行为的期望,并相应地检测偏离这些期望的异常。

时间序列分析的数据要求

如我们所见,为了能够分析时间序列并检测异常值,我们需要拥有满足特定要求的数据。第一个要求是拥有足够数量的数据点,即随时间变化的变量观测值。所需的数据点数量取决于我们想要进行的分析类型以及数据的收集频率。例如,如果我们想要分析数据的趋势,我们需要至少有十二个覆盖相当长时间范围的数据点。如果我们想要分析数据的季节性,我们需要至少有一个完整的观测周期,涵盖所有可能的季节。如果我们想要分析数据噪声,我们需要至少有二十个足够变化的数据点。

第二个要求是拥有捕捉时间变化的数据,即反映变量随时间变化的变动。这意味着数据应该在规律且一致的时间间隔内收集,不跳过或重复某些观测值。此外,数据必须是时间对齐的,即每个观测值必须对应于变量被测量的时间。这暗示着数据必须转换为适合时间序列分析的格式,例如日期时间格式。

第三个要求是拥有满足时间序列主要组件(即趋势、季节性和噪声)分析的最低要求的数据。这些要求根据我们想要用于分析的模型而有所不同。例如,如果我们想要使用线性模型来分析趋势,我们需要拥有在变量和时间之间具有线性关系的数据。如果我们想要使用指数模型来分析趋势,我们需要拥有在变量和时间之间具有指数关系的数据。如果我们想要使用ARIMA模型来分析季节性和噪声,我们需要拥有稳定或可微分的数据。

时间序列分析中的差分

如我们所见,时间序列分析中的一个主要挑战是数据中存在非稳定性,即数据的统计属性(如均值和方差)随时间变化。这使得应用传统的统计方法变得困难,因为这些方法假设数据是稳定的。为了使用这些方法,我们必须首先转换数据,使其变得稳定,或至少近似稳定。进行这种转换的最常见威廉希尔官方网站 之一是差分。

差分包括从时间序列中的每个值中减去前一个值,从而得到一个代表数据随时间变化的新的时序。例如,如果我们有一个时间序列 {x1, x2, x3, …},它的一阶差分是 {x2 - x1, x3 - x2, …}。差分可以重复多次,从而实现二阶差分、三阶差分等。差分的目的是从时间序列中移除趋势和季节性成分,这些是非稳定性的主要原因。实际上,如果数据具有趋势或季节性,其值将与前一个或后一个值相关。减去这些值可以减少或消除这种相关性。

例如,我们可以看到一个具有上升趋势和年度季节性的时间序列。其一阶差分去除了趋势,但没有去除季节性。其二阶差分去除了趋势和季节性。

差分是最广泛使用的时间序列分析和异常检测模型之一——ARIMA模型的基础。

ARIMA模型介绍

ARIMA模型是时间序列分析和异常检测中广泛使用的模型之一。ARIMA代表自回归差分移动平均模型(Autoregressive Integrated Moving Average)。这个模型结合了三个主要组成部分:

自回归(AR)部分,它建模时间序列值与之前值之间的相关性。例如,如果数据是周期性的,时间序列值将受到过去值的影响。

差分(I)部分,它通过使时间序列差分来建模,使其变得稳定。例如,如果数据具有趋势或季节性,差分将从时间序列中移除这些成分。

移动平均(MA)部分,它建模时间序列误差与之前误差之间的相关性。例如,如果数据有噪声,时间序列误差将受到过去误差的影响。

ARIMA模型有三个主要参数:p、d和q。p参数表示模型中使用的自回归项的数量。d参数表示为了使时间序列稳定而必须对时间序列进行差分的次数。q参数表示模型中使用的移动平均项的数量。例如,ARIMA(1,1,1)模型使用一个自回归项、一个差分和一个移动平均项。

ARIMA模型可以用来描述、预测和检测时间序列中的异常。为此,我们需要遵循几个步骤:

首先,我们需要检查时间序列是否稳定。我们可以使用统计测试,如增强的Dickey-Fuller测试,来检查时间序列的均值和方差是否随时间恒定。

其次,我们需要对时间序列进行差分,直到它变得稳定。我们可以使用图表,如自相关函数图和偏自相关函数图,来确定所需的差分次数。

第三,我们需要使用优化方法,如最大似然法,来估计ARIMA模型的参数。我们可以使用模型选择标准,如赤池信息准则或贝叶斯信息准则,来选择p、d和q参数的最优值。

第四,我们需要使用验证方法,如Ljung-Box测试或Jarque-Bera测试,来验证ARIMA模型。我们可以使用图表,如残差图或预测图,来检查模型是否与数据拟合良好,以及数据中是否存在任何异常。

第五,我们需要使用ARIMA模型来描述时间序列的主要特征,预测未来的时间序列值,并检测时间序列中的异常。我们可以使用准确性度量,如均方误差或平均绝对误差,来评估预测和异常的质量。

时间序列异常检测

在估计和验证我们的时间序列的ARIMA模型后,我们可以使用它来检测数据中的异常。异常是与数据的正常运行趋势显著偏离的值或事件。为了检测异常,我们需要将观察到的时间序列值与ARIMA模型预测的值进行比较。如果两个值之间的差异大于某个阈值,我们可以将观察到的值视为异常。

定义异常的阈值取决于多个因素,如置信水平、误差分布、数据的频繁程度等。通常,我们可以使用置信区间的概念来确定阈值。置信区间是一个以一定概率包含预测值的区间。例如,95%的置信区间意味着预测值在该范围内的概率为95%。如果观察到的值在置信区间之外,我们可以将其视为异常。

当我们在时间序列中检测到异常时,我们还必须尝试理解它们的原因和含义。一些异常可能是由于测量、传输或数据处理错误造成的。这些异常通常被称为噪声,可以被忽略或纠正。其他异常可能是由于结构性变化、欺诈活动、特殊事件或其他影响数据的因素造成的。这些异常通常被称为信号,检测和分析它们可能很重要。

为了理解异常的原因和含义,我们需要使用我们对数据领域的知识,即数据生成的背景和变量的含义。此外,我们需要使用其他信息来源,如其他相关时间序列、历史数据、新闻、报告等。这有助于我们解释异常检测结果并确定可能采取的行动。

在本文中,我们已经看到了如何使用ARIMA模型进行时间序列分析和异常检测。

结论

在本文中,我们已经看到了如何使用ARIMA模型进行时间序列分析和异常检测。我们已经了解了什么是时间序列,它的组成部分是什么,它与其他类型的数据有何不同,如何在时间序列中检测异常,以及进行这些操作的最常见威廉希尔官方网站 。我们已经看到了如何验证数据的平稳性,如何对时间序列进行差分,如何估计和验证ARIMA模型,如何使用ARIMA模型来描述、预测和检测时间序列中的异常,以及如何解释异常检测结果。

时间序列分析和异常检测是研究随时间变化的数据(如销售、交通、气候等)的非常有用的强大威廉希尔官方网站 。这些威廉希尔官方网站 允许我们分析过去,理解现在,并预测未来。此外,这些威廉希尔官方网站 帮助我们发现数据中隐藏的模式和趋势,这可以用来改进决策和策略。最后,这些威廉希尔官方网站 帮助我们识别数据中的隐藏问题或机会,这可能是由数据中的异常引起的。

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7006

    浏览量

    88947
  • 时间序列
    +关注

    关注

    0

    文章

    31

    浏览量

    10428
  • 数据分析
    +关注

    关注

    2

    文章

    1446

    浏览量

    34050

原文标题:时间序列分析的异常检测综述

文章出处:【微信号:可靠性杂坛,微信公众号:可靠性杂坛】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【「时间序列与机器学习」阅读体验】全书概览与时间序列概述

    如何通过根因分析威廉希尔官方网站 获得导致故障的维度和元素,包括基于时间序列异常检测算法的根因分析、基于熵的根
    发表于 08-07 23:03

    【《时间序列与机器学习》阅读体验】+ 了解时间序列

    处理的专业书籍。再看一下目录结构: 可看出书的前五章以理论为主,先后介绍了时间序列分析的基础知识、时间序列的信息提取、
    发表于 08-11 17:55

    时间序列小波分析的操作步骤及实例分析

    时间序列(Time Series)是地学研究中经常遇到的问题。在时间序列研究中,时域和频域是常用的两种基本形式。其中,时域分析具有
    发表于 11-15 10:45 6.8w次阅读
    <b class='flag-5'>时间</b><b class='flag-5'>序列</b>小波<b class='flag-5'>分析</b>的操作步骤及实例<b class='flag-5'>分析</b>

    多变量水质参数时间异常事件检测算法

    在供水管网中部署传感器网络实时获取多个水质参数时间序列数据,当供水管网发生污染时,高效准确地检测水质异常是一个重要问题。提出多变量水质参数时间
    发表于 12-07 16:17 0次下载
    多变量水质参数<b class='flag-5'>时间</b><b class='flag-5'>异常</b>事件<b class='flag-5'>检测</b>算法

    基于导数序列时间序列同构关系

    时间序列序列匹配作为时间序列检索、聚类、分类、异常监测等挖掘任务的基础被广泛研究。但传统的
    发表于 12-12 15:52 0次下载
    基于导数<b class='flag-5'>序列</b>的<b class='flag-5'>时间</b><b class='flag-5'>序列</b>同构关系

    宝信利用Spark Analytics Zoo对基于LSTM的时间序列异常检测的探索

    摘要:宝信和英特尔相关团队利用Analytics Zoo在无监督的基于时间序列异常检测用例上进行了有益的合作探索,本文分享了合作项目的结果和经验。 背景 在 工业制造 行业,有多种方法
    的头像 发表于 10-17 10:30 5791次阅读

    如何使用频繁模式发现进行时间序列异常检测详细方法概述

    针对传统异常片 段检测方法在处理增量式时间序列时效率低的问题,提出一种基于频繁模式发现的时间序列
    发表于 11-28 11:09 5次下载
    如何使用频繁模式发现进行<b class='flag-5'>时间</b><b class='flag-5'>序列</b><b class='flag-5'>异常</b><b class='flag-5'>检测</b>详细方法概述

    基于时间卷积网络的通用日志序列异常检测框架

    基于循环神经网络的日志序列异常检测模型对短序列有较好的检测能力,但对长序列
    发表于 03-30 10:29 8次下载
    基于<b class='flag-5'>时间</b>卷积网络的通用日志<b class='flag-5'>序列</b><b class='flag-5'>异常</b><b class='flag-5'>检测</b>框架

    一种多维时间序列汽车驾驶异常检测模型

    针对传统异常检测模型难以准确分析汽车驾驶异常行为的情况,建立一种基于自动编码器与孤立森林算法的多维时间
    发表于 05-26 16:32 2次下载

    基于shapelets的时间序列分类威廉希尔官方网站 综述

    基于shapelets的时间序列分类威廉希尔官方网站 综述
    发表于 06-08 11:16 5次下载

    时间序列分析及其应用

    时间序列分析及其应用。
    发表于 02-22 13:56 1次下载

    时间序列分析的定义

    01 时间序列分析的定义 1.1 概念 首先,时间序列定义为在一定时间间隔内按
    的头像 发表于 03-16 16:17 5615次阅读

    一种新的无监督时间序列异常检测方法

    时间序列数据是生活中常见的一种数据,在时间顺序上具有一定规律,且大量存在于金融贸易、工业生产、环境保护、网络安全等众多领域。时间序列
    的头像 发表于 08-10 11:29 2688次阅读

    采用基于时间序列的日志异常检测算法应用

    目前,日志异常检测算法采用基于时间序列的方法检测异常,具体为:日志结构化 -> 日志模式识别 -
    的头像 发表于 12-09 10:47 1649次阅读

    智能电网时间序列异常检测:a survey

    故障、中断、外部网络攻击或能源欺诈引起的。识别这些异常对于现代电网的可靠和高效运行至关重要。对电网时间序列数据进行异常检测的方法有很多种。本
    发表于 04-04 16:13 0次下载
    智能电网<b class='flag-5'>时间</b><b class='flag-5'>序列</b><b class='flag-5'>异常</b><b class='flag-5'>检测</b>:a survey