《神经网络讲解与实例ppt课件》由会员分享，可在线阅读，更多相关《神经网络讲解与实例ppt课件（65页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络 (Artificial Neural Netwroks -ANN),1.1 人工神经网络发展概况,人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。,模拟人脑神经细胞的工作特点：,* 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。,优点：,(1) 较强的容错性;,(2) 很强的自适应学习能力；,(3) 可将识别和若干预处理融为一体进行；,(4) 并行工作方式；,(5) 对信息采用分布式记忆，具有鲁棒性。,四个发展阶段：,第一阶段：启蒙期，始于1943年。,形式神经元的数学模型提出。,第二阶段：低潮期，始于
2、1969年。,感知器(Perceptions)一书出版，指出局限性 。,第三阶段：复兴期，从1982年到1986年。,Hopfield的两篇论文提出新的神经网络模型；,并行分布处理出版，提出反向传播算法。,第四个阶段：1987年至今，趋于平稳。,回顾性综述文章“神经网络与人工智能” 。,人工神经网络的基本特点,（1）可处理非线性,（2）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理,（3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆,（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（
3、如好、中、差、及格、不及格等）,（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码,1.2 神经网络基本概念,1.2.1 生物神经元,1生物神经元的结构,细胞体、树突、轴突和突触。,神经元的动作：,输出函数 f：也称作用函数，非线性。,阈值型,S型,伪线性型,f 为阈值型函数时：,设 ，点积形式：,式中，,1.2.3 神经网络的学习,学习：,同一个训练集的样本输入输出模式反复作用于网络，网 络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。,实质：,1Hebb学习规则,典型的权值修正方
4、法： Hebb学习规则、误差修正学习,如果神经网络中某一神经元与另一直接与其相连的神经 元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。,神经网络的最重要特征之一。,wij(t+1)：修正一次后的某一权值； ：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。,由 有：,神经元间的连接,2. 学习规则,（3）更新权值，阈值可视为输入恒为（1）的一个权值；,（1）选择一组初始权值wij(1)；,（2）计算某一输入模式对应的实际输出与期望输出的误差；,式中，,（4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。,d
5、j，yj(t)：第j个神经元的期望输出与实际输出；,xi(t)：第j个神经元的第i个输入。,神经网络的学习体现在：权值变化；网络结构变化。,：学习因子；,1.3 前馈神经网络,1.3.1 感知器,感知器（Perceptron）：FRosenblatt于1957年提出。,感知器结构示意图,* 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。,结构特点：,* 输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。,设输入模式向量， ，共M类。,输出层第j个神经元对应第j个模式类，,j：第j个神经元的阈值；,wij：输入模式第i个分量与输出层第j个神经元间的连接权。,令
6、 。取,有,输出为,输出单元对所有输入数值加权求和，经阈值型输出函数 产生一组输出模式。,M类问题判决规则( 神经元的输出函数) 为,* 正确判决的关键：,输出层每个神经元必须有一组合适的权值。,* 感知器采用监督学习算法得到权值；,* 权值更新方法：学习规则。,算法描述,第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。,第二步：输入新的模式向量。,第三步：计算神经元的实际输出。,设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为,第j个神经元的实际输出为,第四步：修正权值。,dj：第j个神经元的期望输出。,第五步：转到第二步。,当全部学习样本都能正确分类时
7、，学习过程结束。,经验证明，当随k的增加而减小时，算法一定收敛。,1.3.2 BP网络,BP网络主要用于 1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 2）模式识别：用一个特定的输出向量将它与输入向量联系起来。 3）分类：把输入向量 以所定义的合适方式进行分类。 4）数据压缩：减少输出向量维数以便于传输或存储。,目前，在人工神经网络的实际应用中，绝大部分的神经网络模型是采用BP网络和它的变化形式，它也是前馈网络的核心部分，并体现了人工神经网络最精华的部分。,BP网络：采用BP算法（Back-Propagation Training Algorithm）的多层感知器。,误差
8、反向传播算法,认识最清楚、应用最广泛。,性能优势：识别、分类,1多层感知器,针对感知器学习 算法的局限性：模式类必须线性可分。,输入层,第一隐层,第二隐层,输出层,中间层为一层或多层处理单元；,前馈网络；,结构：,只允许一层连接权可调。,2BP算法,两个 阶段,正向传播阶段：逐层状态更新,反向传播阶段：误差,BP算法的学习过程,设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。,wij：神经元i与j之间的连接权；,f()：神经元的输出函数。,S型输出函数：,j：神经元阈值；h0：修改输出函数形状的参数。,设：输出层中第k个神经元的实际输出为yk，输入为ne
9、tk；与输出层相邻的隐层中任一神经元j的输出为yj。,对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：,若输入N个模式，网络的系统均方差为：,当输入Xp时，wjk的修正增量：,其中，,由 式得到：,令 ，可得,输出单元的误差：,输出单元的修正增量：,对于与输出层相邻的隐层中的神经元j和该隐层前低一层 中的神经元i ：,输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。,BP算法建模步骤：,第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。,第二步：输入样本，指定输出层各神经元的希望输出值。,第三步：依次计算每层神
10、经元的实际输出，直到输出层。,第四步：从输出层开始修正每个权值，直到第一隐层。,若j是输出层神经元，则：,若j是隐层神经元，则：,第五步：转到第二步，循环至权值稳定为止。,改进的权值修正：, 收敛快、权值平滑变化,：平滑因子，01。,BP算法存在问题：,* 存在局部极小值问题； * 算法收敛速度慢； * 隐层单元数目的选取无一般指导原则； * 新加入的学习样本影响已学完样本的学习结果。,3应用之例：蚊子的分类,已知的两类蚊子的数据如表1：,翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf
11、 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1,翼长 触角长 类别1.64 1.38 Af1.82 1.38 Af1.90 1.38 Af1.70 1.40 Af1.82 1.48 Af1.82 1.54 Af2.08 1.56 Af,目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1,输入数据有15个，即 , p=1,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络,规定目标为： 当t(1)=0.9 时表示属于
12、Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为：,分析如下：,为第一层的输出，同时作为第二层的输入。,其中， 为阈值， 为激励函数,（阈值作为固定输入神经元相应的权系数）,则有：,取激励函数为,同样，取,（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：,令p=0,具体算法如下：,=rand(2,3);,=rand(1,3);,(2) 根据输入数据利用公式算出网络的输出,=,取,（3）计算,（4）取,（或其他正数，可调整大小）,j=1,2,3,i=1,2,3,j=1,2,3,(6) p=p+1，转（2）,注：仅计算一圈（p=1，2，15）是不够的，直到当
13、各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。 最后结果是：,即网络模型的解为：,=,4.BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技
14、术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。,2018/10/10,37,5.BP神经网络的设计分析,1、产生数据样本集,包括原始数据的收集、数据分析、变量选择以及数据的预处理,首先要在大量的原始测量数据中确定出最主要的输入模式。,在确定了最重要的输入量后，需进行尺度变换和预处理。,尺度变换常常将它们变换到-1,1或0,1的范围。,在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须删除。,通过对数据的预处理分析还可以检验其是否存在周期性、固定变换趋势
15、或其它关系。,对数据的预处理就是要使得经变换后的数据对于神经网络更容易学习和训练。,2018/10/10,38,对于一个问题应该选择多少数据，这也是一个很关键的问题。,系统的输入输出关系就包含在数据样本中。一般来说，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。,但选太多的数据将增加收集、分析数据以及网络训练付出的代价,选太少的数据则可能得不到正确的结果。,事实上数据的多数取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。,其中网络的大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。,2018/10/10,39,最简单的方法是：将收集到的可用数据随机地分成两部分，比如其中三分之二用于网络的训练。另外三分之一用于将来的测试。随机选取的目的是为了尽量减小这两部分数据的相关性。,影响数据大小的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减小所需的数据量。相反，数据稀薄不匀甚至覆盖则势必要增加数据量。,
