RNN入门理解和LSTM

99 阅读1分钟

今天刚看了点RNN和LSTM。把现在理解的知识点先记录下来。以后到要用到的时候再详细了解,再把相应的知识记录下来。

因为我主要研究目标检测方向,这里先点明一下RNN在目标检测方面的应用:可以有效的利用图像上下文的信息。

RNN网络结构主要分为输入层,隐藏层,输出层。

把隐藏层展开:

t-1,t,t+1表示时间序列,St表示样本在时间t的记忆。,St = f(W*St-1 +U*Xt)。W表示输入的权重,U表示输入样本的权重,V表示输出样本的权重。(现在还不知道这些权重的意义)。W,U,V在每个时刻都是相同的。

具体的计算公式如下:

当时间间隔变大时,RNN会丧失学习连接远处信息的能力。所以出现了LSTM.

在RNN的基础上增加了一个单元状态c。具体结构如下图所示。