本节主要介绍了RNN、LSTM与BRNN

循环神经网络RNN

用于处理序列模型
数学表示符号：
- $x^{(i)}$：表示第i个样本的第t个元素
- $T_x^{(i)}$：表示第i个样本输入序列x的长度
- $y^{(i)}$：表示第i个样本输出的第t个元素
- $T_y^{(i)}$：表示第i个样本输出序列y的长度
单词的表示：
循环神经网络的结构与计算
- 一般假设$a^{<0>}$为0的行向量，即：
  $a^{<0>}=\mathop{0}^\rightarrow$
- $a^{<1>}、\widehat{y}^{<1>}$的计算，即：
  $a^{<1>}=g_1(W_{aa}a^{<0>}+W_{ax}X^{<1>}+b_a)\\ \widehat{y}^{<1>}=g_2(W_{ya}a^{<1>}+b_y)$
- 则推导可得$a^{}、\widehat{y}^{}$的计公式：
  $a^{<t>}=g_1(W_{aa}a^{<t-1>}+W_{ax}X^{<t>}+b_a)\\ \widehat{y}^{<t>}=g_2(W_{ya}a^{<t>}+b_y)\\ 其中,激活函数g1通常使用tanh/Relu,激活函数g2通常使用sigmoid/softmax$
- RNN的简化表示：
  $a^{<t>}=g(W_a\begin{bmatrix} a^{<t-1>}\\ x^{<t>} \end{bmatrix}+b_a)\\ 其中,W_a=\begin{bmatrix} W_{aa} & W_{ax} \end{bmatrix}$ $\widehat{y}^{<t>}=g(W_ya^{<t>}+b_y)$
不同类型的循环神经网络：
RNN单元：
46. 49 循环神经网络RNN_哔哩哔哩_bilibili
47. 50 不同类型的RNN模型_哔哩哔哩_bilibili

长短期记忆LSTM

在网络结构很深（很多层）的情况下，也能保留重要信息
解决了普通RNN求解过程中的梯度消失问题

${\mathop c^{\sim}}^{<t>}=tanh(W_c[a^{<t-1>},x^{<t>}]+b_c)\\ 其中:[a^{<t-1>},x^{<t>}]代表\begin{bmatrix} a^{<t-1>}\\ x^{<t>} \end{bmatrix}$ $c^{<t>}=\Gamma_u\cdot{\mathop c^{\sim}}^{<t>}+\Gamma_f\cdot{\mathop c^{\sim}}^{<t-1>}\\ 其中\,\cdot代表对应元素相乘$ $a^{<t>}=\Gamma_o\cdot tanh\,c^{<t>}$ $更新门:\Gamma_u=\sigma(W_u[a^{<t-1>},x^{<t>}]+b_u)\\ 遗忘门:\Gamma_f=\sigma(W_f[a^{<t-1>},x^{<t>}]+b_f)\\ 输出门:\Gamma_o=\sigma(W_o[a^{<t-1>},x^{<t>}]+b_o)$