【数据竞赛】时间序列竞赛必看一文！

简介

本篇综述是我的个人学习记录，绝大部分内容摘自牛津大学的时间序列综述，有兴趣的朋友可以阅读文末的原文。

本篇文章我们介绍深度学习用于时间序列的一些最新进展，包括：

• 使用深度学习做时间序列的通用方法；例如multi-horizon预测和不确定性估计；
• 混合模型的趋势；
• 神经网络用于促进决策支持，特别是通过解释性和反事实预测方法；
• 时间序列的未来研究方向；

时间序列预测的深度学习框架

其中:

• 为模型的预测结果；
• , 是标签和额外特征；
• 是和实体相关的静态元数据；
• 是模型学习得到的预测函数；

基础构建框架

• :encoder;
• :decoder;

1. CNN网络

其中,

• 是在时间t第层的中间状态；
• 是卷积操作;
• 是固定的filter权重;
• 为激活函数；

Dialted 卷积

• 为特定层的dilation比例，
• Dialated卷积可以解释为低层特征的下采样卷积——可以获取更远的信息。

2. RNN网络

其中:

• 是RNN的中间隐藏状态；
• 是学习的memory更新函数；

LSTM:

受限于梯度传播等的问题，传统的RNN很难学到较长的序列信息，LSTM被专门设计用于解决该问题，

其中：

• 是LSTM的隐藏状态，为sigmoid激活函数

其中：

• 是单个元素的乘积；

3. Attention机制

其中，

• key：, query: , value: ;

• 是attention权重的向量；
• 是LSTM的encoder的输出；

注意力提供了两大关键好处：

1. 注意力机制可以直接关注到重要的重要事件；
2. 可以关注到更远的信息；学习的长度更远；

其中：

• 是离散的预测；
• 是已知的未来输入（例如日期信息等）；
• 是历史观测值；

1. 迭代策略

迭代方法可以方便地将标准模型简化为多步骤预测。迭代策略最大的问题在于:

• 由于每个时间步都会产生少量误差，迭代方法的递归结构可能会在较长的预测期内导致较大的误差累积。

2. 直接的方案

直接的方法通过直接使用所有可用输入生成预测，使用encoder作为过往的信息等汇总，decoder将已知的等未来输入进行组合，直接预测一个固定长度的输出向量。

在之前的许多问题中，复杂的深度学习方法并不能带来更准确的预测，而简单的ensembling模型往往做得更好。原因可能在于下面两点：

• 深度学习的复杂性使其更容易过度拟合；因此，较简单的模型可能在低数据状态下表现更好，这在预测具有少量历史观测值的问题（例如季度宏观经济预测）时很突出。
• 与统计模型的平稳性要求类似，机器学习模型对输入的预处理方式非常敏感，需要尽可能保证训练和测试时的数据分布是相似的；

深度学习最近在开发混合模型可以很好地处理该问题，混合的方法将许多量化时间序列模型和深度学习方法进行结合，并取得了非常好的效果，具体地混合模型可以分成两种方式：

1. 将time-varying的参数编码进非概率参数模型；
2. 概率模型使用的参数分布的产出；

非概率混合模型

对于参数时间序列模型，预测方程通常以分析方式定义，并为未来目标提供点预测。

• 非概率混合模型修改这些预测方程，将统计和深度学习进行结合。

ES-RNN就是利用Holt Winters指数平滑模型的更新方程，将乘法层和季节性成分与深度学习输出相结合：

其中：

• 是th-step-ahead的预测的最后一层；
• 是level的成分；
• 是周期性的成份,
• ,是实体特定静态系数。

概率混合模型

概率混合模型可以被用于分布建模的应用。例如高斯过程和线性状态空间等。

1. 时间序列可解释性

Post-hoc解释性技术

可解释模型用于解释经过训练的网络，并在不修改原始权重的情况下帮助识别重要特征或示例。方法主要可分为两大类。

1. 在神经网络的输入和输出之间应用更简单的可解释代理模型，并依靠近似模型提供解释；最典型的就是LIME，SHAP等；
2. 基于梯度下降的方法；

使用注意力权重进行解释

故名思义，就是使用attention的权重进行解释。权重越高，则愈加重要。

2. 反事实预测&随时间推移的因果推断

深度学习可以通过在观测数据集之外生成预测或反事实预测，帮助促进决策支持。具体的内容可以参见相关的文章。

结论和未来方向

本文我们介绍了目前深度学习最为常见的两种学习预测框架，基于one-step的和multi-horizon的，以及这两种框架采用的网络结构：CNN，RNN，Attention，最后补充介绍了混合深度模型，并简述了深度学习在可解释性以及加速决策方面的内容。

参考文献

1. Time Series Forecasting With Deep Learning: A Survey
   
   

2. 往期精彩回顾
   
   
   
   
   

1. 适合初学者入门人工智能的路线及资料下载
2. 中国大学慕课《机器学习》（黄海广主讲）
3. 机器学习及深度学习笔记等资料打印
4. 机器学习在线手册
5. 深度学习笔记专辑
6. 《统计学习方法》的代码复现专辑
   
7. AI基础下载
8. 本站qq群955171419，加入微信群请扫码：