递归神经网络是一种面向深度学习的算法，它遵循一种顺序的方法。神经网络总是假设每个输入和输出都独立于所有其他层。这种类型的神经网络是递归神经网络，因为它按顺序进行数学计算。
在人工智能、机器学习和深度学习领域，神经网络模仿人脑的功能，使计算机程序能够识别模式并解决常见的问题。"循环神经网络是一种可用于对序列数据进行建模的神经网络。由前馈网络形成的RNN在行为上类似于人类的大脑。简单地说，递归神经网络能够以其他算法无法做到的方式预测序列数据。
标准神经网络中的所有输入和输出都是相互独立的，然而在某些情况下，如预测一个短语的下一个单词时，之前的单词是必要的，因此必须记住之前的单词。因此，RNN应运而生，它使用了一个隐藏层来克服这个问题。RNN最重要的组成部分是隐藏状态，它记住了关于一个序列的具体信息。
RNN有一个存储所有计算信息的存储器。它对每个输入都采用相同的设置，因为它通过对所有输入或隐藏层执行相同的任务产生相同的结果。
RNN架构可以根据你要解决的问题而变化。从那些有单一输入和输出的，到那些有许多输入和输出的（中间有变化）。
下面是一些RNN架构的例子，可以帮助你更好地理解这一点。
- 一对一： 这里只有一对。一对一架构用于传统的神经网络。
- 一对多。一 对多网络中的一个输入可能会导致许多输出。例如，一对多的网络被用于音乐的制作。
- 多对一： 在这种情况下，一个单一的输出是由来自不同时间步骤的许多输入组合而成的。情感分析和情绪识别使用这样的网络，在这种情况下，类别标签由一连串的词决定。
- 多对多。对 于多对多，有许多选择。两个输入产生三个输出。机器翻译系统，如英语到法语或反过来的翻译系统，使用多对多网络。
常见的激活函数
激活函数是我们在将输入发送到下一层神经元或最终确定为输出之前对输入进行的非线性转换。一个神经元的激活函数决定了它是否应该被打开或关闭。非线性函数通常将神经元的输出转化为0到1或-1到1之间的数字。
1- 从数据集中输入一个特定的例子。
2- 网络将取一个例子，并使用随机初始化的变量计算一些计算结果。
3- 然后计算出预测的结果。
4- 实际产生的结果与预期值的比较将产生一个错误。
5- 为了追踪错误，它将通过相同的路径传播，其中的变量也将被调整。
6- 从1到5的步骤重复进行，直到我们确信为获得输出而声明的变量是正确的。
7- 通过应用这些变量来获得新的未见过的输入，进行系统预测。
图示方法如下：
循环神经网络的优点
1.循环神经网络通过时间记住每一个信息。它在时间序列预测中是有用的，因为它也能记住以前的输入。这就是所谓的长短时记忆。
2.2.递归神经网络甚至与卷积层一起使用，以扩大有效的像素邻域。
递归神经网络的劣势
1.梯度消失和爆炸问题。
2.训练RNN是一个非常困难的任务。
3.如果使用tanh或relu作为激活函数，它不能处理很长的序列。
使用张量流实现递归神经网络
在本节中，我们将学习如何用Tensor Flow实现递归神经网络。
第1步：Tensor Flow包括各种库，用于具体实现递归神经网络模块。
#Import necessary modules
from __future__ import print_function
import tensorflow as tf
from tensorflow.contrib import rnn
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot = True)
第2步：我们的主要动机是将每条图像线视为一个像素序列，并使用一个迭代神经网络来对图像进行分类。MNIST图像的形状被具体定义为28*28px。这里我们涵盖了28个序列，每个提到的样本都有28个步骤。定义了创建序列模式的输入参数。
n_input = 28 # MNIST data input with img shape 28*28
n_steps = 28
n_hidden = 128
n_classes = 10
# tf Graph input
x = tf.placeholder("float", [None, n_steps, n_input])
y = tf.placeholder("float", [None, n_classes]
weights = {
'out': tf.Variable(tf.random_normal([n_hidden, n_classes]))
}
biases = {
'out': tf.Variable(tf.random_normal([n_classes]))
}
第3步：使用RNN中定义的函数计算结果，以获得最佳结果。在这里，每个数据形状与当前输入形状进行比较，并计算结果以保持准确率。
def RNN(x, weights, biases):
x = tf.unstack(x, n_steps, 1)
# Define a lstm cell with tensorflow
lstm_cell = rnn.BasicLSTMCell(n_hidden, forget_bias=1.0)
# Get lstm cell output
outputs, states = rnn.static_rnn(lstm_cell, x, dtype = tf.float32)
# Linear activation, using rnn inner loop last output
return tf.matmul(outputs[-1], weights['out']) + biases['out']
pred = RNN(x, weights, biases)
# Define loss and optimizer
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = pred, labels = y))
optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost)
# Evaluate model
correct_pred = tf.equal(tf.argmax(pred,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
# Initializing the variables
init = tf.global_variables_initializer()
第4步：在这一步，我们将启动图形以获得计算结果。这也有助于计算测试结果的准确性。
with tf.Session() as sess:
sess.run(init)
step = 1
# Keep training until reach max iterations
while step * batch_size < training_iters:
batch_x, batch_y = mnist.train.next_batch(batch_size)
batch_x = batch_x.reshape((batch_size, n_steps, n_input))
sess.run(optimizer, feed_dict={x: batch_x, y: batch_y})
if step % display_step == 0:
# Calculate batch accuracy
acc = sess.run(accuracy, feed_dict={x: batch_x, y: batch_y})
# Calculate batch loss
loss = sess.run(cost, feed_dict={x: batch_x, y: batch_y})
print("Iter " + str(step*batch_size) + ", Minibatch Loss= " + \
"{:.6f}".format(loss) + ", Training Accuracy= " + \
"{:.5f}".format(acc))
step += 1
print("Optimization Finished!")
test_len = 128
test_data = mnist.test.images[:test_len].reshape((-1, n_steps, n_input))
test_label = mnist.test.labels[:test_len]
print("Testing Accuracy:", \
sess.run(accuracy, feed_dict={x: test_data, y: test_label}))
The screenshots below show the output generated −
