LSTM 的基本单元Cell
图中看起来是三个cell，其实是一个cell在不同时刻上的拼接，也就是说其实是一个cell在不同时刻的状态。我们就以中间那个cell为例进行说明吧。
其中，四个黄色的小矩形就是普通神经网络的隐藏层结构，其中第一、二和四的激活函数是sigmoid，第三个的激活函数是tanh。t时刻的输入X和t-1时刻的输出h(t-1)进行拼接，然后输入cell中，其实可以这样理解，我们的输入X(t)分别feed进了四个小黄矩形中，每个小黄矩形中进行的运算和正常的神经网络的计算一样（矩阵乘法），有关记忆的部分完全由各种门结构来控制（就是0和1），同时在输入时不仅仅有原始的数据集，同时还加入了上一个数据的输出结果，也就是h(t-1)，那么讲来LSTM和正常的神经网络类似，只是在输入和输出上加入了一点东西。cell中可以大体分为两条横线，上面的横线用来控制长时记忆，下面的横线用来控制短时记忆。
输入和输出
- 输入
下面我们就来说说输入问题，在Keras中，LSTM的输入shape=(samples, time_steps, input_dim)，其中samples表示样本数量，time_steps表示时间步长，input_dim表示每一个时间步上的维度。我举一个例子吧，现在有一个数据集有四个属性(A，B, C, D)，我们希望的预测标签式D，假设这里的样本数量为N。如果时间步长为1，那么此时的输入shape=(N, 1, 4)，具体的数据是这样的[A(t-1), B(t-1), C(t-1), D(t-1)]（此处表示一个数据样本），样本标签为[D(t)]；如果时间步长为2，那么此时的输入shape=(N, 2, 4)，具体的数据是[[A(t-2), B(t-2), C(t-2), D(t-2)], [A(t-1), B(t-1), C(t-1), D(t-1)]]（此处仍表示一个样本数据）。 - 输出
关于Keras中LSTM的输出问题，在搭建网络时有两个参数，一个是output_dim表示输出的维度，这个参数其实就是确定了四个小黄矩形中权重矩阵的大小。另一个可选参数return_sequence，这个参数表示LSTM返回的时一个时间序列还是最后一个，也就是说当return_sequence=True时返回的是(samples, time_steps, output_dim)的3D张量，如果return_sequence=Flase时返回的是(samples, output_dim)的2D张量。比如输入shape=(N, 2, 8)，同时output_dim=32，当return_sequence=True时返回(N, 2, 32)；当return_sequence=False时返回(N, 32)，这里表示的时输出序列的最后一个输出。
使用keras创建多层LSTM网络
使用Keras搭建多层LSTM网络还是比较方便的，我们只需要使用Sequential()进行堆叠即可。
在进行多层LSTM网络时，需要注意一下几点：
- 需要对第一层的LSTM指定
input_shape参数。 - 将前N-1层LSTM的
return_sequence设置为True，保证每一层都会想下一层传播所有时间步长上的预测，同时保证最后一层的return_sequence为False（如果只需要最后一个输出的话）。 - 其实，在第二层时，不用指定
input_shape，因为根据上一层的output_dim和当前层的output_dim可以得出当前层中权重矩阵的大小。
def build_model(lstm_layers, dense_layers):
model = Sequential()
model.add(LSTM(output_dim=32,
input_shape=(2, 3),
activation='relu',
return_sequences=True))
for i in range(lstm_layers - 1):
model.add(LSTM(output_dim=32 * (i+1),
activation='relu',
return_sequences=True))
for i in range(dense_layers - 1):
model.add(Dense(output_dim=256,
activation='relu'))
model.add(Dropout(0.5))
model.compile(loss='mae', optimizer='adam', metrics=['accuracy'])
model.summary()
return model
参数lstm_layers=5, dense_layers=3，summary函数执行的结果如下：
