《工智能及专家系统(敖志刚)第11章 基于神经网络的专家系统课件》由会员分享，可在线阅读，更多相关《工智能及专家系统(敖志刚)第11章 基于神经网络的专家系统课件（59页珍藏版）》请在金锄头文库上搜索。
1、敖志刚 编制,第11章 基于神经网络的专家系统,敖志刚 编制,第11章 基于神经网络的专家系统,第11章 基于神经网络的专家系统,111 神经网络的概念与模型 1111 生物神经元 1112 人工神经网络 112 神经网络模型和算法 1121 感知器的学习结构与算法 1122 B-P模型 1123 Hopfield模型 1124 典型的人工神经网络模型 113 神经网络专家系统 1131 基于神经网络的知识表示与推理 1132 基于神经网络的故障诊断专家系统,111 神经网络的概念与模型,神经网络(NN)是指由大量神经元互连而成的网络，包括生物NN与人工神经网络(ANN)两个方面。 所谓生物N
2、N是指由中枢神经系统(脑和脊髓)及周围神经系统(感觉神经、运动神经、交感神经、副交感神经等)所构成的错综复杂的NN，其中最重要的是脑神经系统。 ANN是指运用大量的简单处理单元(神经元)，由人工方式建立起来的，经广泛并行互连所构成的人工网络。它的组织能够模拟生物设计系统的真实世界物体的交互作用，能够模拟人脑神经系统的结构和功能。一般可采用VLSI、光器件、分子器件构造人工神经元。,1111 生物神经元,神经元的一些重要特性, 动态极化：每一神经元的信息都是以预定方向流动的。 时空整合处理功能。 神经元具有两种常规工作状态：即兴奋状态与抑制状态。 结构的可塑性。 脉冲与电位转换：突触界面具有脉冲
3、/电位信号转换功能。 响应不应期：细胞在相邻的二次冲动之间对激励不响应、不能传递神经冲动。,1112 人工神经网络,1. 神经网络研究的发展历史 1890年，美国生物学家W.James出版了生理学一书。 1943年McCulloch和Pitts提出M-P模型。 1949年Donala U.Hebb提出突触联系强度可变的假设。 1957年Frank Rosenblatt定义了一个NN结构，称为感知器(Perceptron)。 1960年威德罗和霍夫率先把NN用于自动控制研究。 70年代, 日本Fukusima的Neocognitron； 芬兰Kohonen的自组织NN；Stephen Cross
4、berg的共振自适应理论ART网络等。 1982年John J. Hopfield提出了全连接网络，离散的NN模型，并证明了网络可达到稳定的离散和连续两种情况。 1986年美国的一个平行计算研究小组提出了前向反馈NN的Back Propagation（BP）学习算法。 1987年在美国召开了第一届世界NN大会1000人参加。 88年日本国际贸易工业省提出以NN为核心的NN计算机的研究计划。,2. 人工神经网络的属性, 非线性：人工神经元处于激活或抑制两种状态，在数学上表现为一种非线性。 非局域性：一个系统的整体行为主要通过单个神经元和单元之间的大量连接模拟大脑的非局域性。 非定常性：NN是在不
5、停地变化以适应外界环境的变化，可以通过样本提示来模拟环境变换。 非凸性：非凸性是指某个特定的状态函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。,3. 人工神经网络的主要特点, 能较好地模拟人的形象思维、人脑神经系统结构和功能，对信息进行并行分布处理。 具有大规模并行协同处理能力。组合简单的、数量巨大的神经元进行并行、协同的工作和集体计算。 具有较强的容错能力和联想能力。当少量神经元或它们的连接发生故障时，对网络功能的影响是很微小的，这使得网络在整体上具有较强的鲁棒性(硬件的容错性)。 具有较强的学习能力。 适应性集成。NN能够适应在线运行，并能同时进行定量和定性操作。
6、 硬件实现。NN不仅能够通过软件而且可借助软件实现并行处理。,人工智能与神经网络之间的对比,神经网络计算机和数字电子计算机的主要区别,4ANN的优缺点,优点包括： 信息处理是并行性的； 知识的存储是分布的； 具有联想、模糊推理、自适应或自学习的能力，可以通过训练，自动总结规律； 局部错误对整体不会带来严重的影响，能够处理不完善的问题； 能够很好地完成多变量模式识别； 能从部分样本中学到的知识推广到全体祥本； 能通过采用直接的(有时是不精确的)数值数据进行训练，并能自动地确定原因-结果关系。 存在许多问题：如训练时间长，需大量训练数据，不能保证最佳结果，不能保证完全可靠，容易陷入局部极小，不具备
7、增量学习能力，联想存储网络容量小，所存储的信息相互干扰和退化，不适合于高精度计算，没有很完善的学习方法，经验参数太多。在实际应用中，也存在许多问题，如难以设计通用的神经元网络芯片，大量的、动态的神经元互联实现困难等。,5. 人工神经网络的分类, 按网络的拓扑结构划分：ANN可分为单纯的阶层网络、具有反馈的阶层网络、层内互联的阶层网络、相互连接型网络。 按网络的学习方法划分：可分为有师学习网络、无师学习网络和强化学习网络。 有师学习算法能够根据期望的和实际的网络输出之间的差来调整神经元间连接的强度或权。无师学习算法不需要知道期望输出。 按网络的性能划分：可以分为连续型与离散型网络；或分为确定型与
8、随机型网络。 按连接突触的性质划分，可分为一阶线性关联网络与高阶非线性关联网络。,6. NN的学习规则,第一类称为相关学习规则。这种规则只根据连接间的激活水平改变权系数。 第二类称为纠错学习规则。这种规则根据输出节点的外部反馈改变权系数。例如BP算法，用于统计性算法的模拟退火算法也属于这种学习规则。第三类称为无教师学习规则。它是一种对输入测检进行自适应的学习规则。,7. 人工神经网络的研究与应用, 生物原型研究：从生理学、心理学、解剖学、脑科学、病理学等生物科学方面，从定性与定量、静态与动态、微观与宏观等各种观察角度，研究NN、神经细胞、神经系统的生物原型的微观和宏观结构及功能机理，探明脑中物
9、理平面向认知平面映射的原理。 ANN模型的研究：包括NN的概念模型、理论模型、知识模型、物理化学模型、数学模型、算法模型、联想记忆模型等。 NN基本理论的研究。非线性特性；特征分析：包括网络的拓扑结构、网络容量、计算能力、算法分析；基本性能：包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性； 认知科学的研究：探索包括感知、思考、记忆和语言等的脑信息处理模型以及联想存储、思维机制、模糊输入、随机输入、不全信息输入和动态连接机制等方法。,7. 人工神经网络的研究与应用, NN的软件模拟和硬件实现。 寻找使用软硬件方法实现NN计算机及其仿真系统的途径。 ANN在智能信息处理方面的应用。 认知与人工智
10、能； 优化与控制； 信号处理； 传感器信息处理。 ANN在军事领域的应用。包括无人驾驶飞机、车辆，航天器姿态控制、导弹的智能引导、卫星图片的识别、脸谱和指纹识别等。,8. 人工神经元的功能表示和结构,人工神经元的功能表示类似生物神经元，其功能可用图11-3来表示。,8. 人工神经元的功能表示和结构,根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即MP模型，如图11-4所示。,9. 人工神经元网络的互连结构,112 神经网络模型和算法,121 感知器的学习结构与算法 1. 感知器的学习结构 感知器的学习是NN最典型的学习。一个有教师的学习系统可以用图11-6表示。,
11、121 感知器的学习结构与算法,学习机构可用图11-7所示的结构表示。在图中，Xl，X2，Xn是输入样本信号，W1，W2，Wn是权系数。u=WiXi=W1X1+W2X2+WnXn,2. 感知器的学习算法,感知器是具有单层计算单元的NN，由线性元件及阈值元件组成，如图11-8所示。 感知器的数学模型, 感知器学习算法的步骤, 对权系数W置初值。记为Wl(0)，W2(0)，Wn(0)，同时有Wn+1(0)-。 输入一样本X(X1，X2，Xn+1)以及它的期望输出d。 计算实际输出值： 。 根据实际输出求误差：ed-Y(t)。 用误差e去修改权系数。Wi(t+1)=Wi(t)+eXi, 当实际输出和
12、期望值d相同时有Wi(t+1)=Wi(t)。 转到第点，一直执行到一切样本均稳定为止。,示例,X1：0 0 1 1 X2：0 1 0 1 则X1 V X2：0 1 1 1 以X1 V X21为A类， 以X1 V X2=0为B类， 则有方程组： W10+W20-0 有 0 W10+W21-0 W2 W11+W20-0 W1 W11+W21-0 W1 + W2 令 W1=1,W2=2，则有1。取=0.5，则有 X1+X2-0.5=0,分类情况如图11-10所示。,1122 B-P模型,1. B-P(Back-Progagation)模型概念 B-P模型是一种用于前向多层NN的误差反传学习算法，用于
13、多层网络，网络中不仅有输入层节点及输出层节点，而且还有一层至多层隐层节点，如图11-11所示。,1. B-P(Back-Progagation)模型概念,输入：net=x1w1+x2w2+xnwn 输出： y和f(net)的曲线如图11-12所示。,2. 学习算法, 学习本质：对各连接权值的动态调整。 学习规则：权值调整规则。 学习的类型：有导师学习。 核心思想：将输出误差以某种形式通过隐层向输入层逐层反传将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值。 学习的过程：NN在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。其过程为信号的正向传播误差的反
14、向传播。 正向传播：输入样本输入层各隐层输出层。 判断是否转入反向传播：若输出层的实际输出与期望输出不符，则。 误差反传：误差在各层表示修正各层单元的权值。 网络输出的误差减少到可接受的程度。,2. 学习算法, 变量定义 设 输入层与中间层的连接权值为wih； 隐含层与输出层的连接权值为who； 隐含层各神经元的阈值为bh； 输出层各神经元的阈值为bo； 样本数据个数为:k=1,2,m； 激活函数为f()； 误差函数为 。,2. 学习算法, 向量表示 输入向量为X=(x1,x2,xn)； 隐含层输入向量为hi=(hi1,hi2,hip)； 隐含层输出向量ho=(ho1,ho2,hop)； 输出
15、层输入向量为yi=(yi1,yi2,yiq)； 输出层输出向量yo=(yo1,yo2,yoq)； 期望输出向量为d0=(d1,d2,dq)。,2. 学习算法, 学习算法的步骤： 第一步，网络初始化。给各连接权值分别赋一个区间(-1，1)内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。 第二步,随机选取第k个输入样本及对应期望输出，X(k)=(x1(k),x2(k),xn(k)，d0(k)=(d1(k),d2(k),dq(k)。 第三步，计算隐含层各神经元的输入和输出。, 学习算法的步骤,第四步，用期望输出和实际输出,计算误差函数对输出层各神经元的偏导数o(k)。, 学习算法的步骤,
16、第五步，利用隐含层到输出层的连接权值、输出层的o(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数h(k)。, 学习算法的步骤,第六步，用输出层各神经元的0(k)和隐含层各神经元的输出来修正连接权值w0h(k)。 第七步，利用隐含层各神经元的h(k)和输入层各神经元的输入修正连接权。, 学习算法的步骤,第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。, BP算法直观解释,1123 Hopfield模型,1982年，JHopfield提出了Hopfield网络模型，它可用作联想记忆、分类和优化计算的互连网络。这是一种带有反馈连接的循环NN，由于其输出端有反馈到其输入端，当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计
