《零基础入门深度学习(5) - 循环神经网络》由会员分享，可在线阅读，更多相关《零基础入门深度学习(5) - 循环神经网络（13页珍藏版）》请在金锄头文库上搜索。
1、 关闭 零基础入门深度学习 5 循环神经网络 机器学习 深度学习入门 无论即将到来的是大数据时代还是人工智能时代 亦或是传统行业使用人工智能在云上处理大数据的时代 作为一个有理想有追 求的程序员 不懂深度学习 Deep Learning 这个超热的技术 会不会感觉马上就out了 现在救命稻草来了 零基础入门深 度学习 系列文章旨在讲帮助爱编程的你从零基础达到入门级水平 零基础意味着你不需要太多的数学知识 只要会写程序就行 了 没错 这是专门为程序员写的文章 虽然文中会有很多公式你也许看不懂 但同时也会有更多的代码 程序员的你一定能看 懂的 我周围是一群狂热的Clean Code程序员 所以我写
2、的代码也不会很差 文章列表 零基础入门深度学习 1 感知器 零基础入门深度学习 2 线性单元和梯度下降 零基础入门深度学习 3 神经网络和反向传播算法 零基础入门深度学习 4 卷积神经网络 零基础入门深度学习 5 循环神经网络 零基础入门深度学习 6 长短时记忆网络 LSTM 零基础入门深度学习 7 递归神经网络 往期回顾 在前面的文章系列文章中 我们介绍了全连接神经网络和卷积神经网络 以及它们的训练和使用 他们都只能单独的取处理一个个的输入 前一个输入和后一个输入是完全没有关系的 但是 某些任务需要能够更好的处理序列的信息 即前面的输入和后面的输入是有关系的 比 如 当我们在理解一句话意思时
3、 孤立的理解这句话的每个词是不够的 我们需要处理这些词连接起来的整个序列 当我们处理视频的时 候 我们也不能只单独的去分析每一帧 而要分析这些帧连接起来的整个序列 这时 就需要用到深度学习领域中另一类非常重要神经网 络 循环神经网络 Recurrent Neural Network RNN种类很多 也比较绕脑子 不过读者不用担心 本文将一如既往的对复杂的东西剥 茧抽丝 帮助您理解RNNs以及它的训练算法 并动手实现一个循环神经网络 语言模型 RNN是在自然语言处理领域中最先被用起来的 比如 RNN可以为语言模型来建模 那么 什么是语言模型呢 我们可以和电脑玩一个游戏 我们写出一个句子前面的一些
4、词 然后 让电脑帮我们写下接下来的一个词 比如下面这句 我昨天上学迟到了 老师批评了 我们给电脑展示了这句话前面这些词 然后 让电脑写下接下来的一个词 在这个例子中 接下来的这个词最有可能是 我 而不太可能 是 小明 甚至是 吃饭 语言模型就是这样的东西 给定一个一句话前面的部分 预测接下来最有可能的一个词是什么 语言模型是对一种语言的特征进行建模 它有很多很多用处 比如在语音转文本 STT 的应用中 声学模型输出的结果 往往是若干个可能 的候选词 这时候就需要语言模型来从这些候选词中选择一个最可能的 当然 它同样也可以用在图像到文本的识别中 OCR 使用RNN之前 语言模型主要是采用N Gr
5、am N可以是一个自然数 比如2或者3 它的含义是 假设一个词出现的概率只与前面N个词相关 我 们以2 Gram为例 首先 对前面的一句话进行切词 我 昨天 上学 迟到 了 老师 批评 了 如果用2 Gram进行建模 那么电脑在预测的时候 只会看到前面的 了 然后 电脑会在语料库中 搜索 了 后面最可能的一个词 不 管最后电脑选的是不是 我 我们都知道这个模型是不靠谱的 因为 了 前面说了那么一大堆实际上是没有用到的 如果是3 Gram模型 呢 会搜索 批评了 后面最可能的词 感觉上比2 Gram靠谱了不少 但还是远远不够的 因为这句话最关键的信息 我 远在9个词之 前 现在读者可能会想 可以
6、提升继续提升N的值呀 比如4 Gram 5 Gram 实际上 这个想法是没有实用性的 因为我们想处理任意长 度的句子 N设为多少都不合适 另外 模型的大小和N的关系是指数级的 4 Gram模型就会占用海量的存储空间 所以 该轮到RNN出场了 RNN理论上可以往前看 往后看 任意多个词 循环神经网络是啥 循环神经网络种类繁多 我们先从最简单的基本循环神经网络开始吧 基本循环神经网络 下图是一个简单的循环神经网络如 它由输入层 一个隐藏层和一个输出层组成 纳尼 相信第一次看到这个玩意的读者内心和我一样是崩溃的 因为循环神经网络实在是太难画出来了 网上所有大神们都不得不用了这 种抽象艺术手法 不过
7、静下心来仔细看看的话 其实也是很好理解的 如果把上面有W的那个带箭头的圈去掉 它就变成了最普通的全连 接神经网络 x是一个向量 它表示输入层的值 这里面没有画出来表示神经元节点的圆圈 s是一个向量 它表示隐藏层的值 这里隐 藏层面画了一个节点 你也可以想象这一层其实是多个节点 节点数与向量s的维度相同 U是输入层到隐藏层的权重矩阵 读者可以回到 第三篇文章零基础入门深度学习 3 神经网络和反向传播算法 看看我们是怎样用矩阵来表示全连接神经网络的计算的 o也是一个向 量 它表示输出层的值 V是隐藏层到输出层的权重矩阵 那么 现在我们来看看W是什么 循环神经网络的隐藏层的值s不仅仅取决于当前 这次
8、的输入x 还取决于上一次隐藏层的值s 权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重 如果我们把上面的图展开 循环神经网络也可以画成下面这个样子 现在看上去就比较清楚了 这个网络在t时刻接收到输入之后 隐藏层的值是 输出值是 关键一点是 的值不仅仅取决于 还取 决于 我们可以用下面的公式来表示循环神经网络的计算方法 式1是输出层的计算公式 输出层是一个全连接层 也就是它的每个节点都和隐藏层的每个节点相连 V是输出层的权重矩阵 g是激活函 数 式2是隐藏层的计算公式 它是循环层 U是输入x的权重矩阵 W是上一次的值作为这一次的输入的权重矩阵 f是激活函数 从上面的公式我们可以看出 循环层
9、和全连接层的区别就是循环层多了一个权重矩阵 W 如果反复把式2带入到式1 我们将得到 式 式 从上面可以看出 循环神经网络的输出值 是受前面历次输入值 影响的 这就是为什么循环神经网络可以往前 看任意多个输入值的原因 双向循环神经网络 对于语言模型来说 很多时候光看前面的词是不够的 比如下面这句话 我的手机坏了 我打算 一部新手机 可以想象 如果我们只看横线前面的词 手机坏了 那么我是打算修一修 换一部新的 还是大哭一场 这些都是无法确定的 但如果我们 也看到了横线后面的词是 一部新手机 那么 横线上的词填 买 的概率就大得多了 在上一小节中的基本循环神经网络是无法对此进行建模的 因此 我们需
10、要双向循环神经网络 如下图所示 当遇到这种从未来穿越回来的场景时 难免处于懵逼的状态 不过我们还是可以用屡试不爽的老办法 先分析一个特殊场景 然后再总结一 般规律 我们先考虑上图中 的计算 从上图可以看出 双向卷积神经网络的隐藏层要保存两个值 一个A参与正向计算 另一个值A 参与反向计算 最终的输出值取决于和 其计算方法为 和则分别计算 现在 我们已经可以看出一般的规律 正向计算时 隐藏层的值 与有关 反向计算时 隐藏层的值 与有关 最终的输出取决于正 向和反向计算的加和 现在 我们仿照式1和式2 写出双向循环神经网络的计算方法 从上面三个公式我们可以看到 正向计算和反向计算不共享权重 也就是
11、说U和U W和W V和V 都是不同的权重矩阵 深度循环神经网络 前面我们介绍的循环神经网络只有一个隐藏层 我们当然也可以堆叠两个以上的隐藏层 这样就得到了深度循环神经网络 如下图所示 我们把第i个隐藏层的值表示为 则深度循环神经网络的计算方式可以表示为 循环神经网络的训练 循环神经网络的训练算法 BPTT BPTT算法是针对循环层的训练算法 它的基本原理和BP算法是一样的 也包含同样的三个步骤 1 前向计算每个神经元的输出值 2 反向计算每个神经元的误差项值 它是误差函数E对神经元j的加权输入的偏导数 3 计算每个权重的梯度 最后再用随机梯度下降算法更新权重 循环层如下图所示 前向计算 使用前
12、面的式2对循环层进行前向计算 注意 上面的 都是向量 用黑体字母表示 而U V是矩阵 用大写字母表示 向量的下标表示时刻 例如 表示在t时刻向量 s的值 我们假设输入向量x的维度是m 输出向量s的维度是n 则矩阵U的维度是 矩阵W的维度是 下面是上式展开成矩阵的样子 看起 来更直观一些 在这里我们用手写体字母表示向量的一个元素 它的下标表示它是这个向量的第几个元素 它的上标表示第几个时刻 例如 表示向量s 的第j个元素在t时刻的值 表示输入层第i个神经元到循环层第j个神经元的权重 表示循环层第t 1时刻的第i个神经元到循环层第t 个时刻的第j个神经元的权重 误差项的计算 BTPP算法将第l层t
13、时刻的误差项值沿两个方向传播 一个方向是其传递到上一层网络 得到 这部分只和权重矩阵U有关 另一个是方 向是将其沿时间线传递到初始时刻 得到 这部分只和权重矩阵W有关 我们用向量表示神经元在t时刻的加权输入 因为 因此 我们用a表示列向量 用表示行向量 上式的第一项是向量函数对向量求导 其结果为Jacobian矩阵 同理 上式第二项也是一个Jacobian矩阵 其中 diag a 表示根据向量a创建一个对角矩阵 即 最后 将两项合在一起 可得 上式描述了将 沿时间往前传递一个时刻的规律 有了这个规律 我们就可以求得任意时刻k的误差项 式3就是将误差项沿时间反向传播的算法 循环层将误差项反向传递
14、到上一层网络 与普通的全连接层是完全一样的 这在前面的文章零基础入门深度学习 3 神经网络和反向传 播算法中已经详细讲过了 在此仅简要描述一下 循环层的加权输入与上一层的加权输入关系如下 上式中是第l层神经元的加权输入 假设第l层是循环层 是第l 1层神经元的加权输入 是第l 1层神经元的输出 是第 l 1层的激活函数 所以 式4就是将误差项传递到上一层算法 权重梯度的计算 现在 我们终于来到了BPTT算法的最后一步 计算每个权重的梯度 首先 我们计算误差函数E对权重矩阵W的梯度 上图展示了我们到目前为止 在前两步中已经计算得到的量 包括每个时刻t 循环层的输出值 以及误差项 回忆一下我们在文
15、章零基础入门深度学习 3 神经网络和反向传播算法介绍的全连接网络的权重梯度计算算法 只要知道了任意一个时刻 的误差项 以及上一个时刻循环层的输出值 就可以按照下面的公式求出权重矩阵在t时刻的梯度 在式5中 表示t时刻误差项向量的第i个分量 表示t 1时刻循环层第i个神经元的输出值 我们下面可以简单推导一下式5 我们知道 式 式 式 因为对W求导与无关 我们不再考虑 现在 我们考虑对权重项求导 通过观察上式我们可以看到只与有关 所以 按照上面的规律就可以生成式5里面的矩阵 我们已经求得了权重矩阵W在t时刻的梯度 最终的梯度是各个时刻的梯度之和 式6就是计算循环层权重矩阵W的梯度的公式 数学公式超
16、高能预警 前面已经介绍了的计算方法 看上去还是比较直观的 然而 读者也许会困惑 为什么最终的梯度是各个时刻的梯度之和呢 我们前 面只是直接用了这个结论 实际上这里面是有道理的 只是这个数学推导比较绕脑子 感兴趣的同学可以仔细阅读接下来这一段 它用到了 矩阵对矩阵求导 张量与向量相乘运算的一些法则 我们还是从这个式子开始 因为与W完全无关 我们把它看做常量 现在 考虑第一个式子加号右边的部分 因为W和都是W的函数 因此我们要用到大学里 面都学过的导数乘法运算 因此 上面第一个式子写成 我们最终需要计算的是 我们先计算式7加号左边的部分 是矩阵对矩阵求导 其结果是一个四维张量 tensor 如下所示 式 式 接下来 我们知道 它是一个列向量 我们让上面的四维张量与这个向量相乘 得到了一个三维张量 再左乘行向量 最 终得到一个矩阵 接下来 我们计算式7加号右边的部分 于是 我们得到了如下递推公式 这样 我们就证明了 最终的梯度是各个时刻的梯度之和 数学公式超高能预警解除 同权重矩阵W类似 我们可以得到权重矩阵U的计算方法 式8是误差函数在t时刻对权重矩阵U的梯度 和权重矩阵W一样 最终的梯度
