《RNN简介及实现》由会员分享，可在线阅读，更多相关《RNN简介及实现（13页珍藏版）》请在金锄头文库上搜索。
RNN简介及实现 RNN类别 LSTM为例 元胞状态 Cell State 元胞状态有点像是传送带 它直接穿过整个链 同时只有一些较 小的线性交互 上面承载的信息可以很容易地流过而不改变STM 有能力对元胞状态添加或者删除信息 这种能力通过一种叫门的 结构来控制 门是一种选择性让信息通过的方法 它们由一个 Sigmoid神经网络层和一个元素级相乘操作组成 遗忘门 LSTM的第一步是决定我们将要从元胞状态中扔掉哪些信息 该决 定由一个叫做 遗忘门 Forget Gate 的Sigmoid层控制 输入门 首先 有一个叫做 输入门 Input Gate 的Sigmoid层决定我们要 更新哪些信息 接下来 一个tanh层创造了一个新的候选值 更新元胞 元胞状态由前一个细胞状态的过滤与当前输入自过滤决定 输出门 最终的输出 输出将会基于目前的元胞状态 并且会加入一些过 滤 首先我们建立一个Sigmoid层的输出门 Output Gate 来决定 我们将输出元胞的哪些部分 然后我们将元胞状态通过tanh之后 使得输出值在 1到1之间 与输出门相乘 这样我们只会输出 我们想输出的部分 代码解析 输入层 LSTM层 输出层 LSTM层 输出层 模型
