《【人工智能_人工智能导论课件】第8章人工神经网络及其应用导论》由会员分享，可在线阅读，更多相关《【人工智能_人工智能导论课件】第8章人工神经网络及其应用导论（95页珍藏版）》请在金锄头文库上搜索。
1、第 8 章 人工神经网络及其应用,教材：王万良人工智能导论（第3版）高等教育出版社,第8章 人工神经网络及其应用,人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。为机器学习等许多问题的研究提供了一条新的思路，目前已经在模式识别、机器视觉、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化问题求解、数据挖掘等方面获得成功应用。 本章着重介绍最基本、最典型、应用最广泛的BP神经网络和Hopfield神经网络及其在模式识别、联想记忆、软测量、智能计算、组合优化问题求解等方面的应用。,2,第8章 人工神经网络及其应用,神经网络（neural networks，NN）,生物神
2、经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。 人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,神经网络方法： 隐式的知识表示方法,3,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用,4,
3、第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用,5,8.1 神经元与神经网络,8.1.1 生物神经元的结构 8.1.2 神经元数学模型 8.1.3 神经网络结构与工作方式,6,8.1.1 生物神经元的结构,人脑由一千多亿（1011亿 1014 亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。 神经元约有1000种类型，每个神经元大约与103 104个其他神经元相连接，形成极为错综复
4、杂而又灵活多变的神经网络。人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相比。,7,8.1.1 生物神经元的结构,（输入）,（输出）,神经冲动,生物神经元结构,8,8.1.1 生物神经元的结构,工作状态：兴奋状态：细胞膜电位 动作电位的阈值 神经冲动 抑制状态：细胞膜电位 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱 。,9,8.1 神经元与神经网络,8.1.1 生物神经元的结构 8.1.2 神经元数学模型 8.1.3 神经网络的结构与工作方式,10,8.1.2 神经元数学模型,1943年，麦克洛奇
5、和皮兹提出MP模型。一般模型：,11,8.1.2 神经元数学模型,：第 个神经元的输出。 ：第 个神经元的阈值。：外部输入。 ：权值。,加权求和：其矩阵形式：,12,线性环节的传递函数：1； ； ； 及其组合等。,8.1.2 神经元数学模型,13,8.1.2 神经元数学模型,非线性激励函数（传输函数、输出变换函数）,（硬极限函数或阶跃函数）,（对称硬极限函数）,14,8.1.2 神经元数学模型,非线性激励函数（传输函数、输出变换函数）,（对数- S 形函数或S型函数）,（双曲正切S形函数）,15,8.1.2 神经元数学模型,工作过程: 从各输入端接收输入信号 uj ( j = 1, 2, ,
6、n ) 根据连接权值求出所有输入的加权和用非线性激励函数进行转换，得到输出,16,8.1.2 神经元数学模型,17,8.1 神经元与神经网络,8.1.1 生物神经元的结构 8.1.2 神经元的数学模型 8.1.3 神经网络的结构与工作方式,18,8.1.3 神经网络的结构与工作方式,决定人工神经网络性能的三大要素：,神经元的特性。 神经元之间相互连接的形式拓扑结构。 为适应环境而改善性能的学习规则。,19,1. 神经网络的结构 （1）前馈型（ 前向型）,8.1.3 神经网络的结构与工作方式,20,1. 神经网络的结构 （2）反馈型,（ Hopfield神经网络）,8.1.3 神经网络的结构与工
7、作方式,21,2. 神经网络的工作方式,同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。 异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。,8.1.3 神经网络的结构与工作方式,22,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用,23,8.2 BP神经网络及其学习算法,8.2.1 BP神经网络 的结构 8.2.2 BP学习算法 8.2.3 BP算法的实现,24,8.2 BP神经网络及其学习算法,8.2
8、.1 BP神经网络的结构 8.2.2 BP学习算法 8.2.3 BP算法的实现,25,8.2.1 BP神经网络的结构,1. BP 网络结构,26,8.2.1 BP神经网络的结构,2. 输入输出变换关系,27,8.2.1 BP神经网络的结构,3. 工作过程,第一阶段或网络训练阶段：N 组输入输出样本：xi=xi1, xi2, xip1Tdi=di1, di2,dipmTi=1, 2, N对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。,28,8.2 BP神经网络及其学习算法,8.2.1
9、BP神经网络的结构 8.2.2 BP学习算法 8.2.3 BP算法的实现,29,（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。,8.2.2 BP学习算法,两个问题：,（ 2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。1986年，鲁梅尔哈特（D. Rumelhart）等提出BP学习算法。,30,8.2.2 BP学习算法,目标函数：,约束条件：,连接权值的修正量：,1. 基本思想,31,8.2.2 BP学习算法,记,先求,（1）对输出层的神经元,（2）对隐单元层，则有,32,8.2.2 BP学习算法,2. 学习算法,33,8.2.2 BP学习算法,正向传播：输入
10、信息由输入层传至隐层，最终在输出层输出。反向传播：修改各层神经元的权值，使误差信号最小。,2. 学习算法,34,8.2.2 BP学习算法,2. 学习算法,35,8.2 BP神经网络及其学习算法,8.2.1 BP神经网络的结构 8.2.2 BP学习算法 8.2.3 BP算法的实现,36,8.2.3 BP算法的实现,（1） 隐层数及隐层神经元数的确定：目前尚无理论指导。 （2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。 （3）训练数据预处理：线性的特征比例变换，将所有的特征变换到0，1或者-1，1区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。 （4）后处
11、理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。,1. BP算法的设计,37,8.2.3 BP算法的实现,（1）初始化：对所有连接权和阈值赋以随机任意小值；（2） 从 N 组输入输出样本中取一组样本：x=x1, x2, xp1T, d=d1, d2,dpmT, 把输入信息x=x1, x2, xp1T输入到BP网络中 （3）正向传播：计算各层节点的输出：（4）计算网络的实际输出与期望输出的误差：,2. BP算法的计算机实现流程,38,8.2.3 BP算法的实现,（5）反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各
12、个连接权值。（6）让t+1t，取出另一组样本重复（2）（5），直到 N 组输入输出样本的误差达到要求时为止。,2. BP算法的计算机实现流程,39,8.2.3 BP算法的实现,BP学习算法的程序框图,40,1. 特点,BP网络：多层前向网络（输入层、隐层、输出层）。连接权值：通过Delta学习算法进行修正。神经元传输函数：S形函数。学习算法：正向传播、反向传播。层与层的连接是单向的，信息的传播是双向的。,8.2.4 BP算法的特点分析,41,2. BP网络的主要优缺点,很好的逼近特性。具有较强的泛化能力。具有较好的容错性。,优点,收敛速度慢。局部极值。难以确定隐层和隐层结点的数目。,缺点,8.
13、2.4 BP算法的特点分析,42,8.3 BP神经网络的应用,8.3.1 BP神经网络在模式识别中的应用 8.3.2 BP神经网络在软测量中的应用,43,8.3.1 BP神经网络在模式识别中的应用,模式识别研究用计算机模拟生物、人的感知，对模式信息，如图像、文字、语音等，进行识别和分类。传统人工智能的研究部分地显示了人脑的归纳、推理等智能。但是，对于人类底层的智能，如视觉、听觉、触觉等方面，现代计算机系统的信息处理能力还不如一个幼儿园的孩子。神经网络模型模拟了人脑神经系统的特点：处理单元的广泛连接；并行分布式信息储存、处理；自适应学习能力等。神经网络模式识别方法具有较强的容错能力、自适应学习能
14、力、并行信息处理能力。,44,8.3.1 BP神经网络在模式识别中的应用,例8.1 设计一个三层BP网络对数字0至9进行分类。,每个数字用97的网格表示，灰色像素代表0，黑色像素代表1。将每个网格表示为0，1的长位串。位映射由左上角开始向下直到网格的整个一列，然后重复其他列。选择BP网络结构为63-6-9。97个输入结点，对应上述网格的映射。9个输出结点对应10种分类。使用的学习步长为0.3。训练600个周期，如果输出结点的值大于0.9，则取为ON，如果输出结点的值小于0.1，则取为OFF。,45,测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。对于数字8，神经网络的第6个结点的输
15、出值为0.53，第8个结点的输出值为0.41，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。,8.3.1 BP神经网络在模式识别中的应用,当训练成功后，对如图所示测试数据进行测试。测试数据都有一个或者多个位丢失。,46,8.3.2 BP神经网络在软测量中的应用,软测量技术,主导变量：被估计的变量。辅助变量：与被估计变量相关的一组可测变量。,47,软测量系统的设计： 辅助变量的选择：变量类型、变量数量和检测点位置的选择。 数据采集与处理。 软测量模型的建立：通过辅助变量来获得对主导变量的最佳估计。,8.3.2 BP神经网络在软测量中的应用,48,序批式活性污泥法（SBR）,8.3.2 BP神经网络在软测量中的应用,49,BOD、COD、N和P：为软测量模型的主导变量。 ORP、DO、PH和MLSS：辅助变量。 三层BP网络：,8.3.2 BP神经网络在软测量中的应用,50,第8章 人工神经网络及其应用,
