《人工神经网络复习计划资料》由会员分享，可在线阅读，更多相关《人工神经网络复习计划资料（27页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络复习资料第一次课1.人工神经元模型2. 3.Forward Neural Networks Model 前向神经网络模型Feedback Neural Networks Model反馈神经网络模型Neural Networks Control System神经网络控制系统Integrated Neural Networks 集成神经网络4.5.6. When no node节点output is an input to a node in the same layer or preceding layer前层, the network is a feedforward networ
2、k(前向网络). 当输出被引导为输入到相同的或之前的层节点时，网络是反馈网络反馈网络,封闭的循环称为复发性网络(递归网络)7.8.9. 神经网络的用途是1分类2模式识别、特征提取、图像匹配3降噪4预测4.感知器（前向网络）5.感知器是一个具有单层计算神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型， Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。它主要用于模式分类，单层的感知器网络结构如下图所示。5.感知器算法1）
3、随机地给定一组连接权 2）输入一组样本和期望的输出3）计算感知器实际输出4）修正权值 5）选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。 5. Perceptron Learning Rule该学习算法收敛的充分必要条件是输入样本是线性可分的。同时的选取也是十分关键的。学习率选取太小，学习太慢；学习率太大，学习过程可能出现修正过头的情况，从而产生振荡。5.感知器训练规则及计算方法的掌握5.感知器网络应用利用感知器神经网络架构解决一个简单的模式识别问题。使用感知器神经网络架构来表示和门1）分类：训练网络预测心脏病新病人2）逻辑运算：单层感知器可以表示和
4、，或者，不，等等，但不是XOR3）6. MATLAB functions for perceptron networks5. 应用实例:设计一单层单输出感知器神经网络，进行二值化图像卡片上数字的奇偶分类5. 第二次课1 Key wordsbiological neuron Artificial Neural neuronoutput neuronsinterconnection weightedbias levelsactivation functionfeedforward neural networkhidden layersoutput layerinput-output mapping
5、Association memoryPattern Recognitionsystem identificationperceptron modelLearning Processes learning algorithmtraining examplesinput vectorTarget outputdesired responsesupervised learningUnsupervised Learninglearning tasksrate of learning生物神经元人工神经元神经元输出神经元互联加权偏见水平激活功能前馈神经网络隐藏的图层输出层输入输出映射关联记忆模式识别系统识
6、别感知器模型学习过程学习算法训练实例输入矢量目标输出期望的响应监督学习无监督学习学习任务学习的速度2. 3. 3.3.3.4算法实现步骤：第一步:初始化第二步：输入一个样本，计算连接权值的调整量第三步：调整连接权值第四步：计算均方误差56线性神经网络的应用线性神经网络在模式识别、信号滤波和预测、函数近似等方面有广泛的用途,至今仍然广泛应用于各种实际系统中,特别是在自适应滤波方面,用途更为广泛。1以自适应线性网络实现噪声对消2胎儿心率的检测3电话中的回音对消第三次课1 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的感知器模型有不同外，其主要差别也表现在激活函数上。感知器是二值型的
7、函数。 BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数0，1或符号函数-1，1，BP网络经常使用的是S型的对数或正切激活函数和线性函数。 用了“BP算法”进行训练的“多层感知器模型3. 3. 3. 3. 2.BP网络主要用于（1）Functions approximation：BP can be applied to learn non-linear functions（2）pattern recognition模式识别3. 第四次课1.2.径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神
8、经网络,它是具有单隐层的三层前馈网络。3.3.3.5.6.7. Learning Algorithm如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题8. 学习算法需要求解的参数1)径向基函数的中心2)方差3)隐含层到输出层的权值 学习方法分类（按RBF中心选取方法的不同分）1) 随机选取中心法2)自组织选取中心法3)有监督选取中心法4)正交最小二乘法等.自组织选取中心法:第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段 求解隐含层到输出层之间的权值。9.无导师学习阶段，对所有样本的输入进行聚类，求得各隐层节点的RBF的中心ci。如用k均值
9、聚类算法，调整中心，算法步骤为：（1）给定各隐节点的初始中心；（2）计算距离（欧氏距离）并求出最小距离的节点（3）调整中心（4）计算节点的距离（5）重新调整聚类中心(6).求解方差有导师学习阶段:计算隐含层和输出层之间的权值10,。Applications of RBF networkFunction Approximation:ClassificationPattern recognition, information process, image processsystem modelingFailure diagnosisRBF 神经网络结构简单、训练简洁且学习收敛速度快，因此被广泛引用
10、于时间序列分析、模式识别、非线性控制和图像处理等领域。11.12.13.（1） 从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这
11、样网络的适用性就更好了.（2） 从训练算法上看。 BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络
12、。目前，RBF神经网络已经成功地用于非线性函数、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等.第六次课1. 2. 竞争学习的概念与原理竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。1 ）模式、分类、聚类与相似性模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：输入模式的聚类依据。2） 相似性测量 神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式
13、向量间的距离作为聚类判据。 模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。3. 自组织竞争网络机理：采用无教师学习方式，无须期望输出，只是根据数据样本进行学习，并调整自身的权重以达到学习目的。自组织神经网络的学习规则大都采用竞争型的学习规则。竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会，最后仅有一个神经元成为胜利者，并将与获胜神经元有关的各连接权值向着更有利于其竞争的方向调整。用途：模式分类和模式识别。4. 竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元
14、称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。5. 竞争学习规则Winner-Take-All1）向量归一化 2）寻找获胜神经元 3)网络输出与权值调整 6. SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。7. 8. SOM网的学习算法（1）初始化（2）接受输入（3）寻找获胜节点（4）定义优胜邻域 (5)调整权值 （6）检查总模式数是否全部参与了学习（7）更新邻域Nj*(t)及学习率(t) (8)结束检查 学习率是否衰减到零或某个预定的正小数.9. SOM设计输出层设计 输出层神经元数量设定和训练集样本的类别数相关，但是实际中我们往往不能清除地知道有多少类。如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。不过一般来说，如果对类别数没有确定知识，宁可
