请问有什么统计方法能检测时序信号的长期下降行为

b
burgerk
楼主 (未名空间)

小弟正在做神经网络方面的项目(统计外行),训练模型的过程中,有一个指标X可能
是随着训练进程大概下降的。所以,我希望能用一种科学的方法检测到某一个指标随时间下降的行为。

1 短时间来看,X可能时而上升时而下降,所以不能直接两个时间点比一下就下结论。

2 宏观的下降速度不确定,可能下降得快,也可能下降得慢。而且下降速度也不稳定,可能下降一会儿趋于平缓,然后突然变快。

请问有没有什么科学的方法能实现下降行为检测:这里不需要非黑即白的100%确定,而是在某个时刻T得到目前为止确认“下降”这个行为的置信度(confidence score)?

比如在某个时刻T,基于T以前的观察,在当前时刻有25%的可能性确定X是随时间下降的,过了一会儿这个概率就会变成35%了。不知道我这么想对不对,请统计大神们指点迷
津啊。
b
bluesky321

那我老就就大言不惭指点指点你。
1. 会调用r么 ? r里面各种包,有的是。 比较有名的比如changepoint, 可以试试。2. 其实凡是能检测outlier的,都能干你这事。能检测outlier的包,不计其数。 你自己写一个也没什么不行的, 你自己都说出来了, 取一百个点, 平均值,方差算一下
,当前的点算个分数,80%以内算正常, 80%以上算有变化。
b
burgerk

多谢大侠指点。我不是数据科学或者统计背景,R从来没用过。

虽然我们只需要一个简单的工程实现,像您说的,每100个时间点算一个mean和方差,
然后后100个点的mean如果小于刚才得到方差的80%, 则说明很可能是一个下降趋势。

但是组里老板是那种喜欢看公式,看定理和看大名词的人,所以我希望找到一些统计专家们公认的算法(比如引自某某paper)来说服他 。。。

而且我觉得我这个问题不太像outlier检测,而更像是趋势检测,不知道有什么fancy的算法能搭上边。

恳请大侠推荐一些相关文献或者关键词 :)

【 在 bluesky321 (bluesky) 的大作中提到: 】
: 那我老就就大言不惭指点指点你。
: 1. 会调用r么 ? r里面各种包,有的是。 比较有名的比如changepoint, 可以试试。
: 2. 其实凡是能检测outlier的,都能干你这事。能检测outlier的包,不计其数。 你自
: 己写一个也没什么不行的, 你自己都说出来了, 取一百个点, 平均值,方差算一下
: ,当前的点算个分数,80%以内算正常, 80%以上算有变化。

b
bluesky321

可以理解 。 简单的东西说复杂, 也是门学问 。 太简单了,上不了台面, 别的组一听,自己实现了,把你们扔一边了。
涉及到政治, 你自己得掂量着办。https://cran.r-project.org/web/packages/changepoint/changepoint.pdfhttps://cran.r-project.org/web/packages/changepoint/citation.htmlhttps://www.jstatsoft.org/article/view/v058i03

l
lix0519

时间序列里面change point detection吧,挑一个包就行,一般一个包都会跟着一篇文章。选一个jasa的
t
thomasyoung

CUSUM chart
累积和(Cumulative Sum,CUSUM)是一种序贯分析法,由剑桥大学的 E. S. Page 于
1954年首先提出。

累积和用以在某个相对稳定的数据序列中,检测出开始发生异常的数据点。所谓异常的数据点,比如说,从这点开始,整个数列的平均值或者均方差开始发生改变,进而影响到整组数据的稳定。所以累积和最典型的应用是在“改变检测”(Change Detection)中对参量变化的检测。由于累积和管制法能充分利用数据变化之顺序与大小,故相当适
合用于侦测制程的微量变化(small shifts)
https://zh.wikipedia.org/wiki/%E7%B4%AF%E7%A7%AF%E5%92%8C

【 在 burgerk (金鹰叫兽) 的大作中提到: 】
: 小弟正在做神经网络方面的项目(统计外行),训练模型的过程中,有一个指标X可能
: 是随着训练进程大概下降的。所以,我希望能用一种科学的方法检测到某一个指标随时
: 间下降的行为。
: 1 短时间来看,X可能时而上升时而下降,所以不能直接两个时间点比一下就下结论。
: 2 宏观的下降速度不确定,可能下降得快,也可能下降得慢。而且下降速度也不稳定,
: 可能下降一会儿趋于平缓,然后突然变快。
: 请问有没有什么科学的方法能实现下降行为检测:这里不需要非黑即白的100%确定,而
: 是在某个时刻T得到目前为止确认“下降”这个行为的置信度(confidence score)?
: 比如在某个时刻T,基于T以前的观察,在当前时刻有25%的可能性确定X是随时间下降的
: ,过了一会儿这个概率就会变成35%了。不知道我这么想对不对,请统计大神们指点迷
: ...................

l
longtian

考虑时间序列的decomposition,大多数情况是考虑additive,分解成level,trend,
seasonality和noise

你现在只看trend。。。

【 在 burgerk (金鹰叫兽) 的大作中提到: 】
: 小弟正在做神经网络方面的项目(统计外行),训练模型的过程中,有一个指标X可能
: 是随着训练进程大概下降的。所以,我希望能用一种科学的方法检测到某一个指标随时
: 间下降的行为。
: 1 短时间来看,X可能时而上升时而下降,所以不能直接两个时间点比一下就下结论。
: 2 宏观的下降速度不确定,可能下降得快,也可能下降得慢。而且下降速度也不稳定,
: 可能下降一会儿趋于平缓,然后突然变快。
: 请问有没有什么科学的方法能实现下降行为检测:这里不需要非黑即白的100%确定,而
: 是在某个时刻T得到目前为止确认“下降”这个行为的置信度(confidence score)?
: 比如在某个时刻T,基于T以前的观察,在当前时刻有25%的可能性确定X是随时间下降的
: ,过了一会儿这个概率就会变成35%了。不知道我这么想对不对,请统计大神们指点迷
: ...................