《神经网络与深度学习讲义20151211资料》由会员分享，可在线阅读，更多相关《神经网络与深度学习讲义20151211资料（70页珍藏版）》请在金锄头文库上搜索。
1、DRAFT 编译时间：2015-12-1122:00 神经网络与深度学习讲义 Notes on Artifi cial Neural Networks and Deep Learning 邱锡鹏 xpqiu 2015年12月11日 DRAFT 编译时间：2015-12-1122:00 目录 第一章绪论1 1.1总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 第二章数学基础3 2.1向量 . . . . . . . . . . . . . . . . . . . . . . . . . . .
2、. . . . . . . . . . . .3 2.1.1向量的模. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 2.1.2向量的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 2.2矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 2.3矩阵的基本运算 . . . . . . . . . . . . . . . .
3、 . . . . . . . . . . . . . . . . .4 2.3.1常见的矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5 2.3.2矩阵的范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5 2.4导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 2.4.1常见的向量导数. . . . . . . . . .
4、 . . . . . . . . . . . . . . . . . .6 2.4.2导数法则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6 2.5常用函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7 2.5.1logistic函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7 2.5.2softmax函数. . . . . . . .
5、 . . . . . . . . . . . . . . . . . . . . . .7 2.6总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9 第三章机器学习概述10 3.1机器学习概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10 DRAFT 编译时间：2015-12-1122:00 II目录 3.1.1损失函数. . . . . . . . . . . . . . . . . . . . . .
6、 . . . . . . . . . .12 3.1.2机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . .13 3.1.3机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . .14 3.1.4参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16 3.2线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7、 . . . . . .18 3.3线性分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 3.3.1两类分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20 3.3.2多类线性分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22 3.4评价方法. . . . . . . . . . . . . . . . . . . . . . . .
8、. . . . . . . . . . . .26 3.5总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27 第四章感知器28 4.1两类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29 4.1.1感知器学习算法. . . . . . . . . . . . . . . . . . . . . . . . . . . .29 4.1.2收敛性证明 . . . . . . . . . . . .
9、. . . . . . . . . . . . . . . . . . .30 4.2多类感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32 4.2.1多类感知器的收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . .34 4.3投票感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35 4.4总结和深入阅读 . . . . . . . . .
10、. . . . . . . . . . . . . . . . . . . . . . . .36 第五章人工神经网络38 5.1神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39 5.1.1激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39 5.2前馈神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
11、1 5.2.1前馈计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41 5.3反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42 5.4梯度消失问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45 5.5训练方法. . . . . . . . . . . . . . . . . . . . . . . . . . . .
12、. . . . . . . .46 5.6经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46 邱锡鹏：神经网络与深度学习讲义 DRAFT 编译时间：2015-12-1122:00 目录III 5.7总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47 第六章卷积神经网络48 6.1卷积 . . . . . . . . . . . . . . . . . . . . . . . . .
13、. . . . . . . . . . . . . .48 6.1.1一维场合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48 6.1.2两维场合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49 6.2卷积层：用卷积来代替全连接 . . . . . . . . . . . . . . . . . . . . . . . . .49 6.3子采样层. . . . . . . . . . . . . . . . . . . . . .
14、. . . . . . . . . . . . . .52 6.4卷积神经网络示例：LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . .53 6.5梯度计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54 6.5.1卷积层的梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55 6.5.2子采样层的梯度. . . . . . . . . . . . . . .
15、 . . . . . . . . . . . . .56 6.6总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56 第七章循环神经网络57 7.1简单循环网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58 7.1.1梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59 7.1.2改进方案. . . . . .
16、 . . . . . . . . . . . . . . . . . . . . . . . . . .60 7.2长短时记忆神经网络：LSTM . . . . . . . . . . . . . . . . . . . . . . . . .61 7.3门限循环单元：GRU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61 7.4总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62 参考文献63 索引65 邱锡鹏：神经网络与深度学习讲义 DRAFT 编译时间：2015-12-1122:00 第一章绪论 一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行 一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是 人还是计算机，那么就可以认为这个计算机是智能的。 Alan Turing 1950， 机器能思维吗？ 让机器具备智能是人们长期追求的目标， 但是关于智能的定义也
