开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第1天，点击查看活动详情

一.二者比较

LSTM中文名为长短期记忆（Long Short-Term Memory）是一种时间递归神经网络（RNN），适合被用于处理和预测时间序列中间隔和延迟非常长的重要事件，经多年实验证实，它通常比RNN和HMM效果更好。

1.RNN

循环神经网络（RNN）可以通过不停的将信息循环操作，保证信息持续存在，从而解决在ai处理过程中一些理解不了记忆不了上下文的问题。

此图为神经网络的图，神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y。

那RNN特殊在哪里呢？特殊在它是循环的，即前面的输入和后面的输入是有关系的，但是普通的神经网络是做不到这一点的。这也导致RNN擅长处理序列类型数据，它更擅长解决短依赖问题。理论上RNN是可以将以前的信息与当前的任务进行连接，例如使用以前离得比较远的字词来帮助理解当前或者预测下一个字词。但是实际上RNN能做到这点吗？答案是不一定，这是因为这个长依赖问题，出现了LSTM

2.LSTM

一种特殊的RNN网络，该网络设计出来是为了解决长依赖问题。该网络由Hochreiter & Schmidhuber (1997)引入，后人也对其进行了改进和普及。

此图是LSTM的，它特殊的地方就在于每个RNN中有四个网络层，先理解符号的意思后我们再单独拎一个出来进行了解，

• 黄色框则表示用于学习的神经网络层
• 粉色圆圈表示pointwise操作，如节点求和
• 从某个节点的输出到其他节点的输入，每条线都传递一个完整的向量
• 合并的两条线表示连接
• 分开的两条线表示信息被复制成两个副本，并将传递到不同的位置。