在量化交易中应用卷积神经网络CNN做时间序列预测

量化交易中，最直接的判断策略是根据历史的价格走势或者交易量的变化，来预测未来的价格。这一点对于传统看K线的形态派，和现在使用机器学习的炼丹派应该都是一样的。对价格预测的有效性基于两个假设：

1. 市场参与者的某种交易心理或者说情绪，会形成特定模式的下单流，从结果来看，就是造成特定的交易量演变以及价格走势。也就是说价格波动不是一个完全的随机游走过程，而是前后关联的。
2. 市场参与者不会在某个时间点全部离场而进入全新的交易者，而是一个逐渐加入/退出的过程。这导致一个模式不会马上消失，而是逐渐演变。也就是说价格波动的形态是会重复发生的。

通过机器学习方法进行的量化预测，本质上就是先基于交易量和价格这两个市场行为的结果，找出潜在的交易心理/模式，当我们找到的模式在未来某个时间点再重现的时候，我们就可以从中获利。这个过程有点像自然语言处理，比如机器翻译要把中文翻译为英文，第一步是找出中文背后的语义，然后在把语义变为英文，这背后的语义就跟我们所说的交易模式一样，不可描述。

LSTM

时间序列预测，这个是一个典型的序列问题，直观的可以用循环神经网络(RNN, Recurrent Neural Networks)解决，RNN应用了序列的上下文关系。多数情况都会使用长短期记忆（LSTM，Long Short-Term Memory）网络，一种特殊的RNN。RNN在 语音识别、机器翻译这些场景应用很广泛。RNN的结构：

原始RNN的缺点是无法实现长期依赖（Long-Term Dependencies），也就是说随着时间序列的增长，序列的开头对于后面的作用几乎不存在了。LSTM是这针对这个问题进行优化的RNN变种，它可以保存几十个步骤以前的信息。LSTM的实现细节可以参考Understanding LSTM Networks -- colah's blog。

但是在金融时间序列的问题上，时间序列的会很长，可能上千个神经元，LSTM无法解决这么久远的信息依赖。另外一个问题是RNN模型的训练过程的效率非常低，因为同一层的神经元计算是顺序进行的，这个顺序没法实现并行化。现在最新的研究也是正在放弃RNN/LSTM，比如 ResNet 和 Attention。

CNN

卷积神经网络（CNN，Convolutional Neural Networks）在计算机视觉中应用非常广泛，其最基本的理念就是对图像进行特征抽取。特征抽取是基于图像的两个性质：局部相关性和空间不变性。先说局部相关性，图像的本质是一个像素点组成的矩阵，单个像素与周围相邻的像素是有关联的，这种关联可能是他们共同组成图像中的一个结构，也叫特征。而空间不变性，就是指在对图像进行变换之后，一系列列相邻的像素点组成的特征依然存在。我们先看一下一个完整的CNN框架，这里是的目标是识别图片中的数字：

CNN里面主要包含两个操作：卷积和池化。池化就是对图片数据进行采样，是一个相对简单的过程。卷积操作才是特征提取的核心。先要定义一个卷积核，不同的卷积核定义的是想要提取的目标特征特征，下面是卷积运算的计算过程：

常用的卷积核定义以及特征提取的效果：

CNN的具体细节参考一下两篇博文，上文的图片也是来自于这两篇文章：

• Understanding of Convolutional Neural Network (CNN) — Deep Learning
• A Comprehensive Guide to Convolutional Neural Networks — the ELI5 way

对于量化交易中假设时间序列数据中存在特定的模式，可以关联到上文的图片特征，理解为时间维度上的局部相关性，也就是说相邻的时间点组成了一个模式，我们可以通过CNN把潜在的模式提取出来。这个应用从直观上不是很好理解，因为从时间序列的角度来说，点与点之间是有先后的顺序关系的，也就一般所说的上下文，但是在CNN中，这个上下文信息被平面化了，认为所有的历史信息对于当前点的影响都是等价的。基于这一点，也有将CNN和LSTM结合在一起使用的工作：Twitter Sentiment Analysis using combined LSTM-CNN Models。当然从卷积运算的角度来看，卷积核探测到的模式其实是确定了其中的相对位置关系的，这也可以说是上下文信息的一种变形。

使用CNN相对于LSTM最大的优点是它可以运用并行化计算，计算效率远比LSTM高，从而我们可以把网络做的更深。

实现

我们先把问题进行转化，其实我们可以把我们的目标弱化，我们并不需要知道未来某一时刻价格精确的位置，而是只需要知道价格波动在未来是否达到了我们可以盈利的预期值，也就是价格是否涨/跌超过一个阈值，这样原始的问题我们形式化为一个分类问题。

下图是借用CNN处理文本处理的框架，并在图上做了修改，A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification：

在这个框架中，卷积运算的维度从上文介绍的图片分类的2维空间信息转变为1维时间信息。而横向（d=5）的数据是同一类别的量化因子，作为描述同一时间点的原始特征值。比如基于价格计算出来的不同周期的MACD，也可以直接是价格的OHLC，只要保证不同列的因子数据是可比较的就行。多个不同的大小的核，表示想要探测不同时间长度的模式。不同类型的因子可以通过上述的框架中，最后一步softmax之前，把所有因子中提取出来的特征值拼接在一起，最后做分类。这个模型是借用文本分类的框架，为了方便说明在在1维数据中使用CNN的过程。

PyTorch中的一维卷积nn.Conv1d就可以完成时间序列上的卷积运算，参考pytorch之nn.Conv1d详解。

class Conv1d(_ConvNd):
    """
    in_channels (int): 输入通道数，也就是上图中的d=5
    out_channels (int): 卷积产生的通道。有多少个out_channels，就需要多少个1维卷积
    kernel_size (int or tuple): 卷积核的大小，上图3组核的的大小分别为4、5、6
    stride (int or tuple, optional): 卷积步长，每一次卷积计算之间的跨度，默认1
    padding (int or tuple, optional): 输入的每一条边补充0的层数，默认0
    dilation (int or tuple, optional): 卷积核元素之间的间距
    groups (int, optional): 输入通道到输出通道的阻塞连接数
    bias (bool, optional): 是否添加偏置项
    """

用PyTorch定义一个处理时间序列的CNN网络：

import torch
import torch.nn as nn

class TimeSeriesCNN(nn.Module):
    def __init__(self):
        super(TimeSeriesCNN, self).__init__()
        kernel_sizes = [4, 5, 6]
        ts_len = 7 # length of time series
        hid_size = 1
        self.convs = nn.ModuleList([
            nn.Sequential(
                nn.Conv1d(
                    in_channels=5,
                    out_channels=2,
                    kernel_size=kernel_size,
                ),
                nn.ReLU(),
                nn.MaxPool1d(kernel_size=ts_len - kernel_size + 1))
            for kernel_size in kernel_sizes
        ])
        self.fc = nn.Linear(
            in_features=hid_size * len(kernel_sizes),
            out_features=3,
        )

    def forward(self, x):
        output = [conv(x) for conv in self.convs]
        output = torch.cat(output, dim=1)
        output = output.view(output.size(1), -1)
        output = self.fc(output)
        return output