《模式识别(八)》由会员分享，可在线阅读，更多相关《模式识别(八)（68页珍藏版）》请在金锄头文库上搜索。
1、模式识别 (Pattern Recognition) 武汉大学计算机学院 2007级本科生课程级本科生课程 Email: 第八讲第八讲 第第6 6章章 神经网络神经网络 6.1 6.1 神经网络基本知识神经网络基本知识 6 6. .2 2 感知器神经网络模型感知器神经网络模型 6.36.3 BPBP神经网络模型神经网络模型 6 6. .4 4 HopfieldHopfield神经网络模型神经网络模型 6.1 6.1 神经网络基本知识神经网络基本知识 神经网络神经网络(Neural Networks, NNs)，又称，又称人工神人工神 经网络经网络(Artificial Neural Netwo
2、rks, ANNs)，是模拟，是模拟 生物神经网络进行信息处理的一种数学模型。它以生物神经网络进行信息处理的一种数学模型。它以 对大脑的生理研究成果为基础，其目的在于模拟大对大脑的生理研究成果为基础，其目的在于模拟大 脑的某些机理与机制，实现一些特定的功能。脑的某些机理与机制，实现一些特定的功能。 ANNsANNs可以用硬件电路来实现，也可以用计算机可以用硬件电路来实现，也可以用计算机 程序来模拟，是人工智能研究的一种方法。程序来模拟，是人工智能研究的一种方法。 智能可以包含智能可以包含8个方面：个方面： 感知与认识感知与认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力 -感知
3、是智能的基础感知是智能的基础最基本的能力最基本的能力 通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力 -是人类在世界中能够不断发展的最基本能是人类在世界中能够不断发展的最基本能 力力 理解知识理解知识，运用知识运用知识和经验分析、解决问题的能力和经验分析、解决问题的能力 这一能力可以算作是智能的高级形式。是人这一能力可以算作是智能的高级形式。是人 类对世界进行适当的改造，推动社会不断发展的类对世界进行适当的改造，推动社会不断发展的 基本能力。基本能力。 联想联想、推理推理、判断判断、决策决策的能力的能力 -是智能的高级形式的又一方面是智能的高级形式的又一方面 -预测和认识预测
4、和认识 -“主动”和“被动”之分主动”和“被动”之分(联想、推理、判联想、推理、判 断、决策的能力是“主动”的基础断、决策的能力是“主动”的基础) 运用语言运用语言进行进行抽象抽象、概括概括的能力的能力 上述这上述这5种能力，被认为是人类智能最为基本种能力，被认为是人类智能最为基本 的能力。的能力。 作为作为5种能力综合表现形式的种能力综合表现形式的3种能力：种能力： 发现发现、发明发明、创造创造、创新创新的能力的能力 实时实时、迅速迅速、合理地、合理地应付复杂环境应付复杂环境的能力的能力 预测预测、洞察事物发展洞察事物发展、变化的能力、变化的能力 使用计算机模拟人类的这些能力是人工智使用计算
5、机模拟人类的这些能力是人工智 能所研究的问题，神经网络是人工智能研究的能所研究的问题，神经网络是人工智能研究的 一种方法。一种方法。 一一. .神经网络模型基本组成神经网络模型基本组成 1.生物神经元生物神经元 科学研究发现：人脑大约有科学研究发现：人脑大约有1000亿亿 (1011)个神经元，这个神经元，这 些神经元通过些神经元通过1000万亿万亿(1015)个连接构成一个大规模的神经个连接构成一个大规模的神经 网络系统。神经元是神经网络的基本信息处理单元。网络系统。神经元是神经网络的基本信息处理单元。 生物神经元生物神经元 的基本组成：的基本组成： a.细胞体细胞体(soma) b.树突树
6、突(dendrite) c.轴突轴突(axon) d.突触突触(synapse) 细胞体细胞体j(Soma) 树突树突(Dendrite) 细胞体细胞体i(Soma) 轴突轴突(Axon) 突触突触(Synapse) 现代生理学研究表明：人类的大脑活动不是一个生物现代生理学研究表明：人类的大脑活动不是一个生物 神经元所能完成的，也不是多个生物神经元功能的简单叠神经元所能完成的，也不是多个生物神经元功能的简单叠 加，而是加，而是多个生物神经元构成的非线性动态处理系统多个生物神经元构成的非线性动态处理系统。 在大脑神经系统中，每个神经元都通过突触与系统中在大脑神经系统中，每个神经元都通过突触与系统
7、中 的很多其他神经元相联系，突触的“连接强度”越大，接的很多其他神经元相联系，突触的“连接强度”越大，接 受的信号就越强，反之，突触的“连接强度”越小，接受受的信号就越强，反之，突触的“连接强度”越小，接受 的信号就越弱。突触的“连接强度”可以随着神经系统受的信号就越弱。突触的“连接强度”可以随着神经系统受 到的训练而改变。例如，新记忆的形成就是通过改变突触到的训练而改变。例如，新记忆的形成就是通过改变突触 的强度实现的，认识一位新朋友面孔的过程的强度实现的，认识一位新朋友面孔的过程 包含了各种包含了各种 突触的改变过程。突触的改变过程。 生物神经系统六大特征：生物神经系统六大特征： (1)神
8、经元及其连接；神经元及其连接； (2)神经元之间的连接强度决定了信号的传递强弱；神经元之间的连接强度决定了信号的传递强弱； (3)神经元之间的连接强度可以随训练而改变；神经元之间的连接强度可以随训练而改变； (4)信号可以是起信号可以是起刺激刺激(excite)作用的，也可以是起作用的，也可以是起抑制抑制 (inhibit)作用的；作用的； (5)一个神经元接受信号的累积效果决定该神经元的状态；一个神经元接受信号的累积效果决定该神经元的状态； (6)每个神元可以有一个每个神元可以有一个阈值阈值(threshold)。 2.人工神经元模型人工神经元模型 人工神经元是人工神人工神经元是人工神 经网
9、络操作的基本信息处经网络操作的基本信息处 理单位。理单位。 人工神经元的基本结构：人工神经元的基本结构： a.处理单元处理单元 b.连接连接 c.输入输入 d.输出输出 人工神经网络没有生物神经网络那么复杂，但它们之人工神经网络没有生物神经网络那么复杂，但它们之 间有两个关键的相似之处。首先，两个网络的构成都是可计间有两个关键的相似之处。首先，两个网络的构成都是可计 算单元算单元(处理单元处理单元)的高度互连；其次，处理单元之间的连接的高度互连；其次，处理单元之间的连接 决定了网络的功能。决定了网络的功能。 f x w u y 1 b 输入输入 通用神经元通用神经元 y=f(wx+b) 图图
10、单输入神经元示意图单输入神经元示意图 (1)单输入神经元单输入神经元 权值权值 偏置偏置 净输入净输入 传输函数传输函数 标量输入乘于标量标量输入乘于标量权值权值w得到得到wx，再送到累加器，另，再送到累加器，另 一个输入一个输入1乘于乘于偏置偏置/阈值阈值(bias/threshold)b，再将其送到加，再将其送到加 法器。加法器输出法器。加法器输出u通常被称为通常被称为净输入净输入(net input)，它被送，它被送 到一个到一个传输函数传输函数f(激活函数激活函数：用来限制神经元的输出幅度：用来限制神经元的输出幅度) ，在，在f中产生神经元的标量输出。中产生神经元的标量输出。 与前面的
11、生物神经元对照，权值与前面的生物神经元对照，权值w对应于突触的连接对应于突触的连接 强度强度(w为正：激活，为正：激活，w为负：抑制为负：抑制)，细胞体对应于加法器细胞体对应于加法器 和传输函数和传输函数，神经元输出，神经元输出y代表轴突的信号。代表轴突的信号。 神经元输出按下式计算：神经元输出按下式计算： y=f(wx+b) 如，若如，若w=3, x=2, b=-1.5, 则：则： y=f(32-1.5)=f(4.5) 偏置值除了有常数输入值偏置值除了有常数输入值1外，它很像一个权值。但是外，它很像一个权值。但是 如果不想使用偏置值，也可忽略它。如果不想使用偏置值，也可忽略它。 w和和b是神
12、经元的可调整标量参数。设计者可以选择特是神经元的可调整标量参数。设计者可以选择特 定的传输函数，在一些学习规则中调整参数定的传输函数，在一些学习规则中调整参数w和和b，以满足，以满足 特定的需要。特定的需要。 (2)传输函数传输函数 神经元中的传输函数可以是神经元中的传输函数可以是u的线性函数或非线性函的线性函数或非线性函 数。这里讨论常用的几种激活函数数。这里讨论常用的几种激活函数(前三种前三种)。 y= f(u)=f(wx+b) a.硬极限硬极限传输函数传输函数(阶跃函数阶跃函数/阈值函数阈值函数/阈值单元阈值单元) 0,0( )1,0uyf uu用该函数可以将输入分成两类。用该函数可以将
13、输入分成两类。 MATLAB函数：函数：y=hardlim(u) b.线性线性传输函数传输函数(线性单元线性单元) ( )yf uuMATLAB函数：函数：y=purelin(u) c.Sigmoid型型传输函数传输函数(非线性单元非线性单元) 1( )1 exp()exp()uyf uuue该传输函数的输入该传输函数的输入 在在(-, )区间取值，输区间取值，输 出在出在0到到1之间取值。之间取值。 由于由于S型型函数是可微的，能够体现数学计算上的优越性。函数是可微的，能够体现数学计算上的优越性。 在在BP算法训练的多层网络中就采用了该传输函数。算法训练的多层网络中就采用了该传输函数。 S型
14、函数的图形：型函数的图形： 1 0 u MATLAB函数：函数：y=logsig(u) y 1,0( )1,0uyf uud.其他传输函数其他传输函数 对称硬极限函数对称硬极限函数/sign函数函数: MATLAB函数：函数：y=hardlims(u) 饱和线性函数饱和线性函数: (saturating linear function) 0,0 ,01 1,1u yf uuu u MATLAB函数：函数：y=satlin(u) 对称饱和线性函数对称饱和线性函数(symmetrical saturating linear function)： 0,1 ,11 1,1u yf uuu u 对称饱和
15、线性函数也称分段线性函数，该函数在对称饱和线性函数也称分段线性函数，该函数在-1,1 线性区间内的放大系数是一致的，这种形式的传输函数可线性区间内的放大系数是一致的，这种形式的传输函数可 以看作是非线性放大器的近似。以看作是非线性放大器的近似。 MATLAB函数：函数：y=satlins(u) 双曲正切双曲正切S型函数型函数(hyperbolic tangent sigmoid function)： uuuueeyf ueeMATLAB函数：函数：y=tansig (u) y u f x2 w11 u y 1 b 输入输入 多输入神经元多输入神经元 y=f(wTx+b) 图图 多输入神经元示意图多输入神经元示意图 (3)多输入神经元多输入神经元 w12 w1R x1 xR 该神经元有一个偏置值该神经元有一个偏置值b，它与所有输入的加权和累，它与所有输入的加权和累 加，从而形成净输入加，从而形成净输入u: 11 112211112112.(,.,)( ,.,)RRTT RT Ruw xw xw xbubwwwx xxw xwx该表达式可写成矩阵形式：其中，权值下标权值下标：采用人们习惯表示权值元素的下标。权值矩：
