《神经网络设计考试要点总结》由会员分享，可在线阅读，更多相关《神经网络设计考试要点总结（3页珍藏版）》请在金锄头文库上搜索。
1、1、神经网络的定义：神经网络的定义：由大量与自然神经系统的神经细胞类似的人工神经元互联 而成的网络。分类：前向网络、反馈网络，静态网络、动态网络，连续时间 网络、离散时间网络，阵列网络、非阵列网络。 2、如何选择一种网络结构：如何选择一种网络结构：1、应用问题的输入数=网络的输入个数 2、输出层 神经元的数目=应用问题的输出数 3、输出层的传输函数选择至少部分依赖 于应用问题的输出描述。 3、神经网络优点：神经网络优点：非线性特征，并行分布处理方式，便于硬件实现，自学习和 自适应能力，数据融合的能力，多变量系统。 4、写出两种神经网络传输函数写出两种神经网络传输函数 a = hard lim(
2、n)硬极限传输函数 a =hard lims(n) 对称硬极限函数 a =purelin(n) 线性传输函数 a = poslin(n) 正线性 a =satlin(n) 饱和线性 a =satlins(n) a =logsig(n) a = 1/1+e-n a =tansig(n) a = en-e-n/en+e-n5、单层感知机学习方法收敛的条件单层感知机学习方法收敛的条件：a、问题的解存在（即满足 X*TZ(i)） ； b、仅在输入向量被错误分类时才改变的权值；c、输入向量长度的上界存在=max|Z（i）|26、监督学习算法监督学习算法 w(k+1)=w(k)+2e(k)pT(k)的物理
3、定义的物理定义：该算法在每输入一个 训练值的情况下就更新权值，他能调整权值知道使均方误差达到最小。他尽 力使判定边界远离训练（参考）模式，从而减小网络受噪声的影响。 7、误差后向传播算法存在的主要问题及其改进措施：误差后向传播算法存在的主要问题及其改进措施： 主要问题：主要问题：训练太慢，训练时间长，多层非线性网络的均方误差性能指数不是 一个标准二次函数，他可能存在多个局部极小值，并且在参数空间内的曲率也 不一样； 改进措施：改进措施：使用启发式信息技术： (1)、动量方法（MOBP）1( )(1)(1)()( )(1)(1)mmmmTmmmWkWkSabkbkS 特征：1）维持算法稳定的前提
4、下使用更高的学习速度；2）当轨迹进入某个一 致方向后，加速收敛； (2)、VLBP：a、如果一次权值改变后（在整个训练集上）均方误差的递增超过 某个百分数 (典型值为 1%5%)，则权值改变被取消，学习速度乘以一个小 于 1 的因子 ，动量系数 设为 0；b、如果权值改变后的平方误差递减，则 接受权值更新，学习速度乘以大于 1 的因子 ，如果 过去设置为 0，则恢复 到原来的值；c、如果平方误差递增不超过 ，则接受权值更新，学习速度和 动量系数不变。 8、数值优化技术数值优化技术：共轭梯度法(CGBP)它不需要计算二次导数，但是仍具有二次 收敛的特性，它通过区间定位和区间缩小来确定函数在某个特
5、定方向的权值。9、Levenberg-MarquardtLevenberg-Marquardt 算法算法(LMBP)(LMBP):1 1() ()() ()TT KKKKKKKXXJXJ XIJXJ X 21()()() ()N T i iF XVXVX V X()2() ()TF XJX V XJ(x)是一阶偏导矩阵10、批处理批处理：在整个训练集都提及网络后才提及系数，平均每个样本计算出 的梯度以得到更精确的梯度值，如果训练集是完全的，即覆盖了所有可能的 输入/输出时，则梯度估计是精确的。11、KohonenKohonen 规则规则：iW(q)=iW(q-1)+(P(q)-iW(q-1),
6、iX(q)类似于 instar 规则，kohonen 规则允许神经元的权值学习输入向量，因此 适用于识别和应用，与 instar 规则不同的是学习并不正比于神经元输出 ai(q), 他的学习发声在神经元的下标 i 是集合 X(q)的元素时，如果 instar 规则应用 于返回值为 0 或 1 的传输函数（如硬极限函数）的一层神经元时，kohonen 规 则可以通过将 X(q)定义为满足 ai(q)=1d 的所有 i 的集合，从而与 instar 规则 等价。 12、OutstarOutstar 规则规则：instar 网络（有一个向量输入一个标量输出）可以利用 特定向量刺激与响应相联想起来实现
7、模式识别。Outstar 网有一个标量输入 和一个向量输出，他可以利用一个刺激和向量响应之间的联想完成模式回忆。 Wj(q)=Wj(q-1)+(a(q)-Wj(q-1)Pj(q),这里 Wj是矩阵 W 的第 j 列。 a = satlims(WP)13、单层感知机的缺点及其原因单层感知机的缺点及其原因（思考题） 答：单层感知机只能识别线性可分的模式（即能够用一个线性边界区分） ，因为 单层感知机存在一个线性边界 wp+b=0，单层感知机只能对那些能够被线性边界 分开的输入向量进行分类，对噪声敏感，因为训练模式常接近网络的判定边界。14、多层前向神经网络模型、算法、应用多层前向神经网络模型、算法
8、、应用（论述） LMS 算法和算法和 BP 算法算法都是使均方误差最小化的最速下降法，唯一区别是梯度的 计算方法不同，对多层网络而言，为了计算均方误差对隐层权值和偏置值得导 数，BP 算法使用了链法则，首先计算最后一层的导数，然后反向传播通过网络 并用链法则计算隐层中得导数，算法也因此被称为反向传播算法。 BP 算法的主要问题是：训练时间长，收敛速度慢，存在多个局部极小点，要选 择多个不同的初始值以确保算法收敛到全局极小点。15、监督学习算法的特点监督学习算法的特点：在监督学习中，学习规则由一组描述网络行为的 训练集给出p1,t1pq,tq,pq表示网络输入，tq表示网络的目标输出。 当输入作
9、用到网络时，网络的实际输出与目标输出作比较，然而学习规则调 整网络的权值和偏置值，从而使网络的实际输出越来越接近于目标输出直到网络的性能指数达到一定的精度或最优时停止训练。 16、感知机学习相关知识感知机学习相关知识：(1)、规则：Wnew=Wold+epT e=t-a bnew=bold+e (2)、收敛条件：a、问题的解存在；b、只有输入向量被错误的分类时才改编权 值；c、输入向量的长度存在上界； (3)、局限性：只能对那些能够被线性边 界分开的输入向量进行分类，即只能解决线性可分问题； (4)、感知机网络模 型：a=hardlim(wp+b) 14 自联想存储器：自联想存储器：期望输出量
10、等于网络的输入向量（即 tq=pq） 21、BP 算法小结算法小结：第一步通过网络将输入向前传播 a0= p am+1=fm+1(wm+1am+bm+1),其中 m=1,2,3M-1 a=aM最后一层输出；第二步 通过 网络将敏感性反向传播：SM=-2FM(nM)(t-a) Sm=Fm(nm)(Wm+1)TSm+1 ； 最后，使 用近似的最速下降法更新权值和偏置值：Wm(k+1)=Wm(k)-Sm(am-1)T bm(k+1)=bm(k)-Sm22、无监督的无监督的 hebb 规则规则：w(q)=w(q-1)+a(q)pT(q) 带衰减的带衰减的 hebb 规则规则：w(q)=w(q-1)+a
11、(q)pT(q)-w(q-1) 23、监督学习方法的特点监督学习方法的特点：(1)、首先需要输出一组正确的训练样本 p1，t1pn，tn；(2)、每输入一个样本就更新一次网络参数；(3)、 使军方误差达到最小。 24、反馈网络的工作原理反馈网络的工作原理：反馈网络在初始输入向量中产生竞争，他通过设置 权值矩阵为 Wij=1,i=j;Wij=-w,i=j；来使每个神经元对其他神经元产生抑制作用， 这种抑制使得初始状态最大的神经元的输出在下降的同事保持最大，而其他神 经元逐渐衰减为 0，最终这个竞争网络的输出只有一个非零值，该非零输出对 应的神经元的输入为与原型向量最匹配的输入模式。 25、神经网
12、络的应用：神经网络的应用：神经网络的应用越来越广泛，他不仅可以应用于工程， 数学，科学领域，也可广泛应用于医学、商业、金融和文学等领域。它可以用 于完成模式识别问题，作函数逼近器，函数拟合，自适应滤波，消除回声和噪 声等。神经网络还能用于求解优化问题。同时，基于高速计算机和快速算法， 也可用神经网络解决过去许多计算量很大的复杂工业问题。 26、Hebb 学习的变形相关学习的变形相关：(1)、过滤权值变化,过滤学习：Wnew=(1-)Wold+tqpqT； (2)、调整学习速度，增量规则：Wnew= Wold+(tq-aq)pqT，该规则使均方误差最小，F(x)=E(t-a)T(t-a)。(3)
13、无监督 Hebb：Wnew= Wold+aqpqT Hebb 规则是使误差平方和最小 ，它要等待所有输入输出已知后 才计算一次权值，而增量规则是每输入一个模式就更新一次权值。 27、人工神经网络的特点：人工神经网络的特点：人工神经网络没有人脑那么复杂，但他们之间有两 个关键相似之处。首先，两个网络的构成都是可计算单元的高度互连（虽然人 工神经元比生物神经元简单得多） 。其次，处理单元之间的连接决定了网络的功 能。 28、稳定性概念：、稳定性概念： 1、 稳定性：（在 lyapunov 的意义下）：一个原点是稳定的平衡点，如果对于 任意给定的值 0，总存在一个数 ()0,使得当a(0)0 满足a(t)0，只要a(0)0(a0)时，称为正定。 4、 半正定：一个标量函数 V(a),当 V(a)0(对于所有的 a)时，称为半正定。 5、 Lyapunov 函数：对于非线性系统 x=f(x),如果存在函数 E(x)：(1)、E(x)正 定；(2)、E(x)关于各 xi连续；(3)、d/dt E(X(t)0，则上述的 E(x)是 Lyapunov 函数
