《2011神经网络基本要点回顾》由会员分享，可在线阅读，更多相关《2011神经网络基本要点回顾（8页珍藏版）》请在金锄头文库上搜索。
1、第第 1 章章1.人工神经网络（Artificial Neural Network，ANN） ，是由大量处理单元（神经元）互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。P12.神经元模型应具备三个要素：P7-P8。3.常用的激励函数有以下三种：（常用的激励函数有以下三种：（1）阈值函数阈值函数（阶跃函数、符号函数等）（阶跃函数、符号函数等） ；（；（2）分段线性函数（饱和型函数）分段线性函数（饱和型函数） ；（3）Sigmoid 函数函数；（；（4）对称的对称的 Sigmoid 函数（双曲型函数）函数（双曲型函数） ；（；（5）高斯函数高斯函数。P8激励函数采用激励函数采用阶
2、跃函数阶跃函数的人工神经元模型即为的人工神经元模型即为 MP（McCulloch-Pitts）模型。）模型。4.人工神经网络的分类：（人工神经网络的分类：（1）按网络性能角度可分为）按网络性能角度可分为连续型与离散型网络连续型与离散型网络、确定性与随机性网络确定性与随机性网络；（；（2）按网络结）按网络结构角度可分为构角度可分为前向网络前向网络与与反馈网络反馈网络；（；（3）从学习方式角度可分为）从学习方式角度可分为有导师学习网络有导师学习网络与与无导师学习网络无导师学习网络。P105.神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络自由参数，使神经网络以一种新的方式
3、对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。6.学习方式可分为：学习方式可分为：有导师学习和无导师学习有导师学习和无导师学习。 （1）有导师学习，又称为有监督学习，在学习时需要给出导师信号或称为期望输出。 （2）无导师学习，包括强化学习与无监督学习（或称自组织学习） 。P137.神经网络学习规则有：神经网络学习规则有：Hebb 学习学习、纠错学习纠错学习、基于记忆的学习基于记忆的学习、随机学习随机学习、竞争学习竞争学习等。等。P13-P148.人工神经网络的计算能力有三个显著的特点：人工神经网络的计算能力有三个显著的特点：（1）非线性特性；（
4、）非线性特性；（2）大量的并行分布结构；（）大量的并行分布结构；（3）学习和归纳）学习和归纳能力。能力。P169.一个人工智能系统有三个关键部分：一个人工智能系统有三个关键部分：表示、推理和学习表示、推理和学习。P19机器学习包括两种截然不同的信息处理方向：归纳和演绎。第第 2 章章1.感知器是神经网络用来进行模式识别的一种最简单模型，但是由单个神经元组成的单层感知器只能用来实现线性可分的两类模式的识别。它与 MP 模型的不同之处是假定神经元的突触权值是可变的，这样就可以进行学习。感知器模型包含了自组织、自学习的思想。P232.单层感知器通常采用单层感知器通常采用纠错学习规则纠错学习规则的学习
5、算法。的学习算法。P253.感知器算例感知器算例 1：某单计算节点感知器有 3 个输入。给定 3 对训练样本对如下：X1 = (-1，1，-2，0)Td1 =-1X2 = (-1，0，1.5，-0.5)Td2 = -1X3 = (-1，-1，1，0.5)Td3 =1设初始权向量 W(0)=(0.5, 1, -1, 0)T，=0.1。注意，输入向量中第一个分量 x0恒等于-1，权向量中第一个分量为阈值，试训练该感知器。解：第一步 输入 X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1
6、 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T 第二步 输入 X2，得WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T 由于 d2= o2(1)，所以 W(2)= W(1)。 第三步 输入 X3，得WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-
7、2.1O3(2)=sgn(-2.1)=-1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T 第四步 返回到第一步，继续训练直到 dp- op=0，p=1,2,3。4. 感知器算例感知器算例 2：P355.单层感知器的局限单层感知器的局限：只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的两种基本办法：（1）在输入层与输出层之间加上隐含层作为输入模式的“内部表示” ，将单层感知器变成多层感知器。 （2）采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线
8、变成曲线，从而使整个边界线变成连续光滑的曲线。 （简答）6.自适应线性元件的学习算法采用自适应线性元件的学习算法采用 LMS 算法算法（感知器和自适应线性元件都是基于纠错学习规则的学习算法） 。单个神经元只能实现线性可分函数。用自适应线性元件实现非线性可分函数的方法有两种：（1）对神经元施加非线性输入函数；（2）采用由多个自适应线性元件和 AND 逻辑器件构成的 MADALINES 网络。自适应线性元件原理图：kx1kx2nkxkw1kw2nkw阈值权11模拟输出ky二进制输出kq训练信号（期望输出）LMS算法kwx00,1第第 3 章章1.多层感知器（MLP）也称为多层前向神经网络，它由输入
9、层、隐含层（一层或多层） 、输出层构成。输入层神经元的个数为输入信号的维数；隐含层个数及隐节点的个数视具体情况而定；输出层神经元的个数为输出信号的维数。2.多层感知器同单层感知器相比具有四个明显的特点：P44。3. 从误差曲面的角度试分析从误差曲面的角度试分析 BP 算法的局限性：算法的局限性：（论述）（1）存在平坦区域，误差下降缓慢，影响收敛速度。平坦的原因：误差的梯度变化小，接近于零；另一种情况是输出层神经元的实际输出始终接近于 0 或 1，表明神经元的输出进入平坦区。（2）存在多个极小点，易陷入局部最小点不能自拔。BP 算法以误差梯度下降为权值调整原则，误差曲面的这一特点，使之无法辨别极
10、小点的性质，因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。4. 标准标准 BP 算法的算法的 3 种较常用的改进方法种较常用的改进方法。 （论述）（1）增加动量项。提出原因在于标准 BP 算法只按 t 时刻误差的梯度降方向调整，而没有考虑 t 时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。（2）自适应调节学习率。使其根据环境变化增大或减小。提出原因在于标准 BP 算法中，学习率也称为步长，确定一个从始至终都合适的最佳学习率很难。平坦区域内，太小会使训练次数增加；在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加
11、。基本方法：设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1 )。(3) 引入陡度因子。原因在于误差曲面上存在着平坦区域，而权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。基本方法：调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。具体地，我们在原转移函数中引入一个陡度因子 ，当发现E接近零而d-o仍较大时，可判断已进入平坦区，此时令1；当退出平坦区后，再令=1。5. RBF（Radial Basis Function，径向基函数）网络由三层构成。它是单隐含层的前向网络，根据单元的个数，
12、RBF网络有两种模型：正规化网络和广义网络正规化网络和广义网络。P556. 写出三种以上的径向基函数：写出三种以上的径向基函数：/11 neteoo 1 =1 1 21 net 0 ) 1()1 ()(ttWXW7. 试从函数逼近观点与模式识别观点讨论试从函数逼近观点与模式识别观点讨论 RBF 的原理的原理：（简答）函数逼近观点：若把网络看成对未知函数的逼近，则任何函数都可以表示为一组基函数的加权和。径向基函数网络相当于选择隐含层神经元的激活函数从而构成一组基函数逼近待学习函数。模式识别观点：将低维非线性可分问题映射到一个高维空间使之线性可分。RBF 网络通过隐层单元径向基函数非线性映射，将原
13、线性不可分的特征空间变换到另一个空间（通常是高维空间） ，使之可以线性可分。表现为隐层基函数非线性，输出层为线性。 8. 实例实例 1用 MATLAB 相关函数建立一个径向基神经网络，对非线性函数 y=sqrt(x)进行逼近，x=1：0.1：5，绘出网络的逼近误差曲线图，并给出代码的解释。9. RBF 网络与多层感知器的比较（5 点）：P62第第 4 章章1.统计学习理论是建立在统计学习理论是建立在结构风险最小化原则结构风险最小化原则以及以及 VC 维维概念基础上的一种小样本统计学习理论。概念基础上的一种小样本统计学习理论。P782.人工神经网络的过学习现象产生的原因：人工神经网络的过学习现象
14、产生的原因：学习样本不充分学习样本不充分；学习机器设计不合理学习机器设计不合理。这两个问题是相互关联的。P813.学习机器的实际风险由两部分组成：经验风险 ，即训练误差；置信范围（Confidence Interval）可以简单的表示为（h 表示函数集的 VC 维；l 表示样本数）：P82 empR lhRRemp4. 几种常用的核函数：几种常用的核函数：多项式核函数多项式核函数；Gauss 核函数核函数；sigmoid 核函数等核函数等。P88-P905. SVM 机理机理可以简单描述为：寻找一个满足分类要求的最优分类超平面，使得该超平面在保证分类精度的同时，能够使超平面两侧的空白区域最大化
15、；从理论上来说，支持向量机能够实现对线性可分数据的最优分类。为了进一步解决非线性问题，Vapnik 等人通过引入核映射方法转化为高维空间的线性可分问题来解决。P846.实例实例 2一个班级里面有两个男生和两个女生，其中：男生 1 身高：176cm 体重：70kg；男生 2 身高：180cm 体重：80kg；女生 1 身高：161cm 体重：45kg；女生 2 身高：163cm 体重：47kg。将男生定义为 1，女生定义为-1，并将上面的数据放入矩阵 data 中，在 label 中存入男女生类别标签（1、-1） ；此时该班级又转来两名新学生：身高 190cm，体重 85kg身高 161cm，体
16、重 50kg试问这两名新学生的性别？要求：采用 matlab 编程调用 libsvm SVM 工具箱中的函数实现一个分类器，完成上述问题。data = 176 70; 180 80; 161 45; 163 47label = 1; 1; -1; -1model = svmtrain(label,data,-s 0 -t 2 -c 1 -g 0.1);testdata = 190 85; 162 50testdatalabel = 1; 1predictlabel,accuracy = svmpredict(testdatalabel,testdata,model);predictlabel第第 5 章章1.Hopfield 网络分为网络分为离散型和连续型离散型和连续型两种网络模型，分别记作两种网络模型，分别记作 DHNN 和和 CHNN。D
