《D人工神经网络复习习题》由会员分享，可在线阅读，更多相关《D人工神经网络复习习题（183页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络人工神经网络第一章第一章绪论绪论第二章第二章神经网络基础知识神经网络基础知识第三章第三章监督学习神经网络监督学习神经网络第四章第四章竞争学习神经网络竞争学习神经网络第五章第五章组合学习神经网络组合学习神经网络第六章第六章反馈神经网络反馈神经网络第第1章章绪论绪论1.1人脑与计算机人脑与计算机1.2人工神经网络发展简史人工神经网络发展简史1.2.1启蒙时期启蒙时期1.2.2低潮时期低潮时期1.2.3复兴时期复兴时期1.2.4新时期新时期1.2.5国内研究概况国内研究概况1.3神经网络的基本特征与功能神经网络的基本特征与功能1.4神经网络的应用领域神经网络的应用领域本章小结本章小结第第
2、2章章神经网络基础知识神经网络基础知识2.1人工神经网络的生物学基础人工神经网络的生物学基础2.2人工神经元模型人工神经元模型 2.2.1神经元的建摸神经元的建摸 2.2.2神经元的数学模型神经元的数学模型 2.2.3神经元的转移函数神经元的转移函数2.3人工神经网络模型人工神经网络模型 2.3.1网络拓扑结构类型网络拓扑结构类型 2.3.1.1层次型结构层次型结构 2.3.1.2互连型结构互连型结构 2.3.2网络信息流向类型网络信息流向类型 2.3.2.1前馈型网络前馈型网络 2.3.2.2反馈型网络反馈型网络2.4神经网络学习神经网络学习 2.4.1Hebbian学习规则学习规则 2.4
3、.2Perceptron（感知器）学习规则（感知器）学习规则 2.4.3(Delta)学习规则学习规则 2.4.4Widrow-Hoff学习规则学习规则 2.4.5Correlation（相关）学习规则（相关）学习规则 2.4.6Winner-Take-All（胜者为王）学习规则（胜者为王）学习规则 2.4.7Outstar（外星）学习规则（外星）学习规则本章小结本章小结 第第3章章监督学习神经网络监督学习神经网络3.1单层感知器单层感知器 3.1.1感知器模型感知器模型 3.1.2单节点感知器的功能分析单节点感知器的功能分析 3.1.3感知器的学习算法感知器的学习算法 3.1.4感知器的局限
4、性及解决途径感知器的局限性及解决途径3.2基于误差反传的多层感知器基于误差反传的多层感知器BP神经网络神经网络 3.2.1 BP网络模型网络模型 3.2.2BP学习算法学习算法 3.2.3BP算法的程序实现算法的程序实现 3.2.4BP网络的主要能力网络的主要能力 3.2.5误差曲面与误差曲面与BP算法的局限性算法的局限性3.3BP算法的改进算法的改进3.4BP网络设计基础网络设计基础3.5BP网络应用与设计实例网络应用与设计实例本章小结本章小结第第4章章竞争学习神经网络竞争学习神经网络 4.1竞争学习的概念与原理竞争学习的概念与原理 4.1.1基本概念基本概念 4.1.2竞争学习原理竞争学习
5、原理 4.2自组织特征映射神经网络自组织特征映射神经网络 4.2.1SOM网络的生物学基础网络的生物学基础 4.2.2SOM网网(络络)的拓扑结构的拓扑结构与权值调整域与权值调整域 4.2.3自组织特征映射网自组织特征映射网(络络)的运行原理与学习算法的运行原理与学习算法 4.2.3.1运行原理运行原理 4.2.3.2学习算法学习算法 4.2.3.3功能分析功能分析 4.3自组织特征映射网络的设计与应用自组织特征映射网络的设计与应用 4.4自适应共振理论自适应共振理论本章小结本章小结第第6章章反馈神经网络反馈神经网络 6.1离散型离散型Hopfield神经网络神经网络(DHNN) 6.1.1网
6、络的结构与工作方式网络的结构与工作方式 6.1.2网络的稳定性与吸引子网络的稳定性与吸引子 6.1.2.1网络的稳定性网络的稳定性 6.1.2.2吸引子吸引子与能量函数与能量函数 6.1.2.3吸引子的性质吸引子的性质 6.1.2.4吸引子的吸引域吸引子的吸引域 6.1.3网络的权值设计网络的权值设计 6.1.4网络的信息存储容量网络的信息存储容量 6.2连续型连续型Hopfield神经网络神经网络(CHNN) 6.3Hopfield网络应用与设计实例网络应用与设计实例 6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络 6.5随机神经网络随机神经网络 6.6递归神经网络递归神经网络本章
7、小结本章小结第第1章章绪论绪论1.1人脑与计算机人脑与计算机1.2人工神经网络发展简史人工神经网络发展简史1.2.1启蒙时期启蒙时期1.2.2低潮时期低潮时期1.2.3复兴时期复兴时期1.2.4新时期新时期1.2.5国内研究概况国内研究概况1.3神经网络的基本特征与功能神经网络的基本特征与功能1.4神经网络的应用领域神经网络的应用领域本章小结本章小结1.2人工神经网络发展简史人工神经网络发展简史神经网络的研究可追溯到神经网络的研究可追溯到19世纪末期，其发展历史可分为四个时期。世纪末期，其发展历史可分为四个时期。第一个时期为第一个时期为启蒙时期启蒙时期，开始于，开始于1890年美国著名心理学家
8、年美国著名心理学家WJames关于人脑结构与功能的研究，结束于关于人脑结构与功能的研究，结束于1969年年Minsky和和Papert发表感知器发表感知器(Perceptron)一书。一书。第二个时期为第二个时期为低潮时期低潮时期，开始于，开始于1969年，结束于年，结束于1982年年Hopfield发表发表著名的文章著名的文章“神经网络和物理系统神经网络和物理系统”(NeuralNetworkandPhysicalSystem)。第三个时期为第三个时期为复兴时期复兴时期，开始于，开始于JJHopfield的突破性研究论文，的突破性研究论文，结束于结束于1986年年DERumelhart和和J
9、LMcClelland领导的研究小组发表领导的研究小组发表的并行分布式处理的并行分布式处理(ParallelDistributedProcessing)一书。一书。第四个时期为第四个时期为高潮时期高潮时期，以，以1987年首届国际人工神经网络学术会议为年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头不衰。不衰。1.2.1启蒙时期启蒙时期低潮时期低潮时期复兴时期复兴时期高潮时期高潮时期(新高潮新高潮)本章小结本章小结第第2章章神经网络基础知识神经网络基础知识2.1人工神经网络的生物学基
10、础人工神经网络的生物学基础2.2人工神经元模型人工神经元模型 2.2.1神经元的建摸神经元的建摸 2.2.2神经元的数学模型神经元的数学模型 2.2.3神经元的转移函数神经元的转移函数2.3人工神经网络模型人工神经网络模型 2.3.1网络拓扑结构类型网络拓扑结构类型 2.3.1.1层次型结构层次型结构 2.3.1.2互连型结构互连型结构 2.3.2网络信息流向类型网络信息流向类型 2.3.2.1前馈型网络前馈型网络 2.3.2.2反馈型网络反馈型网络2.4神经网络学习神经网络学习 2.4.1Hebbian学习规则学习规则 2.4.2Perceptron（感知器）学习规则（感知器）学习规则 2.
11、4.3(Delta)学习规则学习规则 2.4.4Widrow-Hoff学习规则学习规则 2.4.5Correlation（相关）学习规则（相关）学习规则 2.4.6Winner-Take-All（胜者为王）学习规则（胜者为王）学习规则 2.4.7Outstar（外星）学习规则（外星）学习规则本章小结本章小结 2.2人工神经元模型人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的拟生物过程以反映人脑某些特性的计算结构计算结构。它不是人脑神。它不是人脑神经系统的真实描写，而只是人脑神经系统的某种抽象、简化经系
12、统的真实描写，而只是人脑神经系统的某种抽象、简化和模拟。和模拟。神经元及其突触是神经网络的基本器件。因此，模拟生神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应物神经网络应首先模拟生物神经元首先模拟生物神经元。在人工神经网络中，神经元常被称为在人工神经网络中，神经元常被称为“处理单元处理单元”。人工神经元是人工神经元是对生物神经元的一种形式化描述；对生物神经元的一种形式化描述；人工神经元是人工神经元是对生物神经元的信息处理过程进行抽象，对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；并用数学语言予以描述；人工神经元是人工神经元是对生物神经元的结构和功能进行模拟，并对生物神
13、经元的结构和功能进行模拟，并用模型图予以表达。用模型图予以表达。 2.2.1神经元的建摸神经元的建摸(1/6)目前人们提出的神经元模型已有很多，其中最早提出且影目前人们提出的神经元模型已有很多，其中最早提出且影响最大的是响最大的是M-P模型（模型（1943年由心理学家年由心理学家McCulloch和数学家和数学家WPitts首先提出的）。首先提出的）。该模型经过不断改进后，形成目前应用广泛的一种神经元该模型经过不断改进后，形成目前应用广泛的一种神经元模型。模型。关于神经元的信息处理机制，该模型在简化的基础上提出关于神经元的信息处理机制，该模型在简化的基础上提出以下以下6点假定：点假定：1、是一
14、个多输入单输出的信息处理单元；、是一个多输入单输出的信息处理单元；2、突触分兴奋性和抑制性两种类型；、突触分兴奋性和抑制性两种类型；3、神经元具有空间整合特性和阀值特性；、神经元具有空间整合特性和阀值特性；4、输入与输出间有固定的时滞，取决于突触延搁；、输入与输出间有固定的时滞，取决于突触延搁；5、忽略时间整合作用和不应期；、忽略时间整合作用和不应期；6、神经元本身是非时变的，即其突触时延和突触强度均、神经元本身是非时变的，即其突触时延和突触强度均为常数。为常数。2.2.1神经元的建摸神经元的建摸(2/6)上述假定，可用图上述假定，可用图2.5中的神经元模型示意图进行图解表示。中的神经元模型示
15、意图进行图解表示。2.2.1神经元的建摸神经元的建摸(3/6) 如生物神经元有许多激励输入一样，人工神经元也应该有如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号。许多的输入信号。图中用图中用xi(i=1,2,n)表示输入数值的大小，它们同时输表示输入数值的大小，它们同时输入神经元入神经元j。 jx1xixnwnjwijw1j2.2.1神经元的建摸神经元的建摸(4/6)生物神经元具有不同的突触性质和突触强度，其影响是使生物神经元具有不同的突触性质和突触强度，其影响是使有些输入的作用比另外一些输入更为重要。有些输入的作用比另外一些输入更为重要。对模拟神经元的每一个输入都有一个对模
16、拟神经元的每一个输入都有一个加权系数加权系数wij，称为权，称为权重值，其重值，其正负正负模拟了生物神经元中突触的兴奋和抑制，其模拟了生物神经元中突触的兴奋和抑制，其大小大小则代表了突触的不同连接强度。则代表了突触的不同连接强度。jx1xixn2.2.1神经元的建摸神经元的建摸(5/6)作为基本处理单元，必须对全部输入信号进行整合，以确作为基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，组合表示输入信号的定各类输入的作用总效果，组合表示输入信号的“总和总和值值”，相，相应于生物神经元的膜电位。应于生物神经元的膜电位。神经元是否激活，决于某一神经元是否激活，决于某一阈值阈值
17、电平，即只有当其电平，即只有当其输入总输入总和超过阈值和超过阈值时，神经元才被激活而发出脉冲，否则神经元不会时，神经元才被激活而发出脉冲，否则神经元不会产生输出信号。产生输出信号。 wnjwijw1jjx1xixnfoj2.2.1神经元的建摸神经元的建摸(6/6)人工神经元的输出也同生物神经元一样仅有一个，如用人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元表示神经元j输出。输出。输出与输入之间的对应关系可用某种函数来表示，这种输出与输入之间的对应关系可用某种函数来表示，这种函数称为函数称为转移函数转移函数，一般都是，一般都是非线性的非线性的。 wnjwijw1jjx1xixn2
18、.2.2 神经元的数学模型神经元的数学模型(1/6)我们用一个数学表达式对上述内容可进行抽象与我们用一个数学表达式对上述内容可进行抽象与概括。概括。令令xi(t)表示表示t时刻神经元时刻神经元j接收的来自神经元接收的来自神经元i的信息的信息输入，输入，oj(t)表示表示t时刻神经元的信息输出，则神经元时刻神经元的信息输出，则神经元j的的状态可表达为状态可表达为式中式中ij输入输入i输出输出j间的突触延时；间的突触延时；Tj神经元神经元j的的阈阈值；值；wij神经元神经元i到到j的突触连接系数值；的突触连接系数值；f()神经元转移函数。神经元转移函数。2.2.2 神经元的数学模型神经元的数学模型
19、(2/6)为简单起见，将上式中的突触延时取为单位时为简单起见，将上式中的突触延时取为单位时间，则式（间，则式（2.1）可写为）可写为 上式描述的神经元数学模型全面表达了神经元模上式描述的神经元数学模型全面表达了神经元模型的型的6点假定。点假定。 1、多输入单输出、多输入单输出;(n个输入个输入;1个输出个输出)2、突触分兴奋性和抑制性、突触分兴奋性和抑制性;(wij可正可负、可大可小可正可负、可大可小)3、有空间整合特性和阀值特性、有空间整合特性和阀值特性;(求和求和,Tj)4、输入与输出间有固定的时滞、输入与输出间有固定的时滞;5、忽略时间整合作用和不应期、忽略时间整合作用和不应期;6、非时
20、变，即突触时延和突触强度为常数。、非时变，即突触时延和突触强度为常数。2.2.2 神经元的数学模型神经元的数学模型(3/6)输入总和常称为神经元在输入总和常称为神经元在t时刻的净输入，用时刻的净输入，用 当当netjTj时，神经元时，神经元j才能被激活。才能被激活。oj(t+1)与与xi(t)之间的单位时间差代表所有神经元之间的单位时间差代表所有神经元具有相同的、恒定的工作节律，具有相同的、恒定的工作节律，wij与时间无关。与时间无关。为简便起见，后面用到式为简便起见，后面用到式(2.3)和和(2.3)时，常将时，常将其中的其中的(t+1)和和(t)省略。省略。 2.2.2 神经元的数学模型神
21、经元的数学模型(4/6)式式(2.3)还可表示为权重向量和输入向量的点积还可表示为权重向量和输入向量的点积其中其中Wj和和X均为列向量，定义为均为列向量，定义为2.2.2 神经元的数学模型神经元的数学模型(5/6)如果令如果令x0=-1，w0j=Tj，则有，则有-Tj=w0jx0，因此净输入和阈值，因此净输入和阈值之差可表示为：之差可表示为： 式式(2.4)中列向量和的第一个分量的下标均从中列向量和的第一个分量的下标均从1开始开始,而式而式(2.5)中则从中则从0开始。开始。 2.2.2 神经元的数学模型神经元的数学模型(6/6)采用式采用式(2.5)的约定后的约定后,净输入改写为净输入改写为
22、net,与原来与原来的区别是包含了阈值。综合以上各式的区别是包含了阈值。综合以上各式,神经元模型可神经元模型可简化为简化为x0=-1x1xixnw0j=Tjfojwnjwijw1jj-Tj=w0jx02.2.3 神经元的转移函数神经元的转移函数神经元的各种不同数学模型的主要区别在于采用神经元的各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处了不同的转移函数，从而使神经元具有不同的信息处理特性。理特性。神经元的信息处理特性是决定人工神经网络整体神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，因此转移函数的研究具有重要性能的三大要素之一，因此转移函数的
23、研究具有重要意义。意义。神经元的转移函数反映了神经元输出与其激活状神经元的转移函数反映了神经元输出与其激活状态之间的关系，最常用的转移函数有以下态之间的关系，最常用的转移函数有以下4种形式。种形式。（1）阈值型转移函数）阈值型转移函数（2）非线性转移函数）非线性转移函数（3）分段线性转移函数）分段线性转移函数（4）概率型转移函数）概率型转移函数(1)阈值型转移函数阈值型转移函数阈值型转移函数采用了图阈值型转移函数采用了图2.6的单位阶跃函数，用下式定义的单位阶跃函数，用下式定义 具有这一具有这一转移函数转移函数的神经元称为阈值型神经元，这是神经的神经元称为阈值型神经元，这是神经元模型中最简单的
24、一种，经典的元模型中最简单的一种，经典的M-P模型就属于这一类。模型就属于这一类。函数中的自变量函数中的自变量x代表代表netj-Tj，即当即当netj=Tj时，神经元为兴奋状态，时，神经元为兴奋状态，输出为输出为1；当时；当时netj0，输出为，输出为1；线的另一边；线的另一边netj0，所以输出为，所以输出为1，我们用，我们用*表示；线表示；线下方，由于下方，由于net0，所以输出，所以输出-1,，我们用，我们用o表示，见图表示，见图3.3。由感知器权值和阈由感知器权值和阈值确定的直线方程，规值确定的直线方程，规定了分界线在样本空间定了分界线在样本空间的位置，从而也确定了的位置，从而也确定
25、了如何将输入样本分为两如何将输入样本分为两类。类。假如分界线的初始假如分界线的初始位置不能将位置不能将*类样本同类样本同o类样本正确分开，改变类样本正确分开，改变权值和阈值，分界线也权值和阈值，分界线也会随之改变，因此总可会随之改变，因此总可以将其调整到正确分类以将其调整到正确分类的位置。的位置。3.1.2 单节点感知器的功能分析单节点感知器的功能分析（2）设输入向量）设输入向量X=(x1, x2, x3)T ，则，则3个输入分量在几何个输入分量在几何上构成一个三维空间。节点的输出为上构成一个三维空间。节点的输出为则由方程则由方程确定三维空间的一个平面，该平面是一个分界平面。平确定三维空间的一
26、个平面，该平面是一个分界平面。平面上方的样本用面上方的样本用*表示，它们使，从而使输出为表示，它们使，从而使输出为1；平面下方；平面下方的样本用的样本用o表示，它们使，从面使输出为表示，它们使，从面使输出为-1。同理，由感知器权值和阈同理，由感知器权值和阈值确定的平面方程规定了分界值确定的平面方程规定了分界平面在样本空间的方向与位置，平面在样本空间的方向与位置，从而也确定了如何将输入样本从而也确定了如何将输入样本分为两类。分为两类。3.1.2 单节点感知器的功能分析单节点感知器的功能分析 （ 3）将上述两个特例推广到）将上述两个特例推广到n维空间的一般情况，设输维空间的一般情况，设输入向量入向
27、量X=(x1, , xn)T ，则，则n个输入分量在几何上构成一个个输入分量在几何上构成一个n维维空间。由方程空间。由方程定义一个定义一个n维空间上的超平面。此平面可以将输入样本维空间上的超平面。此平面可以将输入样本分为两类。分为两类。通过以上分析可以看出，一个最简单的单计算节点通过以上分析可以看出，一个最简单的单计算节点感知感知器具有分类功能器具有分类功能。其分类原理是。其分类原理是将分类知识存储于感知器的将分类知识存储于感知器的权向量（包含了阈值）中权向量（包含了阈值）中，由权向量确定的分类判决界面可，由权向量确定的分类判决界面可将输入模式分为两类。将输入模式分为两类。3.1.2 单节点感
28、知器的功能分析单节点感知器的功能分析用感知器学习规则进行训练，得到的连接用感知器学习规则进行训练，得到的连接权值标在图权值标在图3.4中。中。令净输入为零，可得到分类判决方程为令净输入为零，可得到分类判决方程为x1 x2 y000010100111由图由图3.5可以看出，可以看出，该方程确定的直线将该方程确定的直线将输出为输出为1的样本点的样本点*和和输出为输出为0的样本点的样本点o正正确分开了。确分开了。从图中还可以看从图中还可以看出，该直线并不是惟出，该直线并不是惟一解。一解。下面研究用单计算节点感知器实现逻辑运下面研究用单计算节点感知器实现逻辑运算问题。算问题。用感知器实现逻辑用感知器实
29、现逻辑“与与”功能。功能。逻辑逻辑“与与”的真值表如右：的真值表如右：x1x23.1.2 单节点感知器的功能分析单节点感知器的功能分析用感知器实现逻辑用感知器实现逻辑“或或”功功能。能。逻辑逻辑“或或”的真值表如右。的真值表如右。用感知器学习规则进行训用感知器学习规则进行训练，得到的连接权值为练，得到的连接权值为w1=w2=1，T=0.75，令净输入，令净输入为零，得分类判决方程为为零，得分类判决方程为该直线能把图该直线能把图3.6中的两中的两类样本分外，显然，该直线也类样本分外，显然，该直线也不是惟一解。不是惟一解。 3.1.2 单节点感知器的功能分析单节点感知器的功能分析3.1.2 单节点
30、感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题： X1=-1, 1T，d1=1； X2=-1, -1T，d2=1； X3=0, 0T，d3=-1； X4=1, 0T，d4=-1；其中：其中： Xi=x1i, x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1, 2, 3, 4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下该感知器分类的正确性，对以下4个
31、输入向量进行分类。个输入向量进行分类。X5=-2, 0T； X6=1, 1T； X7=0, 1T； X8=-1, -2T。解：解：首先将首先将4个输入样本标在图个输入样本标在图3.7所示的输入平面上，立刻看出，可以找到所示的输入平面上，立刻看出，可以找到一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。设分界线方程为：设分界线方程为：其中权值和阈值可以用下一节介绍的其中权值和阈值可以用下一节介绍的感知器学习算法进行训练而得到，也可以感知器学习算法进行训练而得到，也可以采用求解联立方程的方法。采用求解联立方程的方法。x1x2X
32、1X2X3X43.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题： X1=-1, 1T，d1=1； X2=-1, -1T，d2=1； X3=0, 0T，d3=-1； X4=1, 0T，d4=-1；其中：其中： Xi=x1i, x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1, 2, 3, 4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下
33、该感知器分类的正确性，对以下4个输入向量进行分类。个输入向量进行分类。X5=-2, 0T； X6=1, 1T； X7=0, 1T； X8=-1, -2T。解（续）解（续）：取直线上的两个点分别代入方程，如对于本例可取：取直线上的两个点分别代入方程，如对于本例可取(-0.5，0)和和(-0.5，1)，得到：，得到：此方程可有无穷多组解。此方程可有无穷多组解。取取w1j=-1，则有，则有w2j=0，Tj=0.5。netj = -x1 + 0*x2 0.5分别将分别将4个输入个输入向量代入感知器的输出向量代入感知器的输出表达式表达式o=sgn(WTX-T)，可得网络的输出分，可得网络的输出分别为别为
34、1，1，-1，-1，即感知器的输出和教师，即感知器的输出和教师信号相符，可以进行正确分类。信号相符，可以进行正确分类。x1x2X1X2X3X4x1x2X1X2X3X43.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题： X1=-1, 1T，d1=1； X2=-1, -1T，d2=1； X3=0, 0T，d3=-1； X4=1, 0T，d4=-1；其中：其中： Xi=x1i, x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1, 2, 3, 4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感
35、知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下该感知器分类的正确性，对以下4个输入向量进行分类。个输入向量进行分类。X5=-2, 0T； X6=1, 1T； X7=0, 1T； X8=-1, -2T。解（续）解（续）：分别将：分别将58号待分类样本输入设计好的感知器，可以得到感知器号待分类样本输入设计好的感知器，可以得到感知器的输出分别为的输出分别为1，-1，-1，1；因此在因此在8个样本中，个样本中，X1，X2，X5，X8属于一类，属于一类，X2，X4，X6，X7属于另一属于另一类。类。
36、此外，从图此外，从图3.8中还可以看出，样本中还可以看出，样本X5，X6的分类不依赖于权值和阈值的选的分类不依赖于权值和阈值的选择，而样本择，而样本X7，X8的分类则依赖于权值的分类则依赖于权值和阈值的选择。和阈值的选择。X5X6X7X83.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.2 考虑以下考虑以下4类线性可分类线性可分样本的分类问题：样本的分类问题：第一类：第一类：X1=1, 1T，X2=1, 2T； 第二类：第二类：X3=2, -1T，X4=2, 2T；第三类：第三类：X5=-1, 2T，X6=-2, 1T； 第四类：第四类：X7=-1, -1T，X8=-2, -2T
37、；试设计一种试设计一种感知器网络感知器网络求解该问题。求解该问题。解：首先画出解：首先画出8个输入样本在平面上的分布，如图个输入样本在平面上的分布，如图3.9(a)所示。所示。图中图中 。x1x2第第1类类第第2类类第第3类类第第4类类从图中可以看出，可以从图中可以看出，可以（用）（用）两条直线两条直线将全部样本分为将全部样本分为4类：类：先用一条分界线将先用一条分界线将8个样本分为两组，即个样本分为两组，即第一、三类为一组，第二、四类为另一组。第一、三类为一组，第二、四类为另一组。然后再用一条分界线将四类分开，其结然后再用一条分界线将四类分开，其结果如图果如图3.9(b)所示。所示。由于每个
38、由于每个感知器中的每个计算节点对应的权感知器中的每个计算节点对应的权值和阈值确定了样本空间的一条线性判决边界，值和阈值确定了样本空间的一条线性判决边界，本例中的感知器应有本例中的感知器应有2个节点。个节点。如图如图3.10所示，所示，对应于样本的期望输出对应于样本的期望输出为：第一类：为：第一类：d1=d2=0, 0T；第二类：；第二类：d3=d4=0, 1T；第三类：；第三类：d5=d6=1, 0T；第四类：；第四类：d7=d8=1, 1T。可以推知，具有可以推知，具有M个节点的单层个节点的单层感知器可对感知器可对2M个线性可分类别进行分类。个线性可分类别进行分类。作业作业P.67题题3.1
39、BP算法的基本思想是，算法的基本思想是，学习过程由信号的正向传播学习过程由信号的正向传播与与误差误差的反向传播的反向传播两个过程组成。两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。后，传向输出层。若输出层的实际输出与期望的输出若输出层的实际输出与期望的输出(教师信号教师信号)不符，则转不符，则转入误差的反向传播阶段。入误差的反向传播阶段。误差反传误差反传是将输出误差以某种形式通过隐层向输入层逐层是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元，从而获得各层单元的反传、并将误差分摊给各
40、层的所有单元，从而获得各层单元的误差信号误差信号，此误差信号即作为，此误差信号即作为修正各单元权值的依据修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。习训练过程。此过程一直进行到网络输出的此过程一直进行到网络输出的误差减少到可接受的程度误差减少到可接受的程度，或进行到或进行到预先设定的学习次数预先设定的学习次数为止。为止。3.2 基于误差反传的多层感知器基于误差反传的多层感知器BP神经网络神经网络3.
41、2.1 BP网络模型网络模型采用采用BP算法的多层前馈网络是至今为止算法的多层前馈网络是至今为止应用应用最广泛最广泛的神经网络。在多层前馈网的应用中，以图的神经网络。在多层前馈网的应用中，以图3.16所示的所示的单隐层网络单隐层网络的应用最为普遍。的应用最为普遍。习惯将习惯将单隐层单隐层前馈前馈网称为网称为三层前馈网三层前馈网或或三三层感知器层感知器，所谓三层包，所谓三层包括了括了输入层输入层、隐层隐层和和输输出层出层。x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层x0y0x1xixnW1Wk
42、WlV1VjVmoloko1ymyjy1X = (x1, , xi , , xn)T输入层输入层输入向量输入向量X：x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入向量：输入向量：X = (x1 , x2 , , xi , , xn)T输入层输入层输入层到隐层输入层到隐层j之间的之间的连接连接。x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Vj=(v1j , , vij , , vnj)T输入层到隐层输入层到隐层j之间的之间的权值向量权值向量Vj：隐层隐层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层V
43、1=(v11 , , vi1 , , vn1)T隐层隐层输入层到隐层输入层到隐层1之间的之间的权值向量权值向量V1：x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Vm=(v1m , , vim , , vnm)T隐层隐层输入层到隐层输入层到隐层m之间的权值向量之间的权值向量Vm：x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层V=(V1 , , Vj , , Vm)隐层隐层输入层到隐层之输入层到隐层之间的间的权值矩阵权值矩阵（由由m个权值向量组成个权值向量组成）：）：y0x1xixnW1WkWlV1VjVmoloko1ymyjy
44、1x0输入层输入层隐层隐层隐层神经元的隐层神经元的阈值阈值可用加入可用加入x0 = -1 来处理。来处理。Vj=(v0j, v1j , , vij , , vnj)TX = (x0, x1 , x2 , , xi , , xn)Tx0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Y=(y1 , , yj , , ym )T隐层的输出向隐层的输出向量定义为量定义为Y：隐层隐层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Y=(y1 , , yj , , ym )T隐层输出向量隐层输出向量Y到到输出层输出层k之间的之间的连接连接。隐层
45、隐层输出层输出层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Wk=(w1k , ,wjk , , wmk)T隐层到输出层隐层到输出层k之之间的权值向量间的权值向量Wk：隐层隐层输出层输出层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层W1=(w11 , ,wj1 , , wm1)T隐层到输出层隐层到输出层1之之间的间的权值向量权值向量W1：隐层隐层输出层输出层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Wl=(w1l , ,wjl , , wml)T隐层到输出层隐层到输出层l之之间的间的权
46、值向量权值向量Wl：隐层隐层输出层输出层x0x1xixnW1WkWlV1VjVmoloko1ymyjy1y0输出输出神经元的神经元的阈值阈值可用可用y0 = -1 来处理。来处理。Wj=(w0j, w1j , , wij , , wmj)TY = (y0, y1 , y2 , , yi , , ym)T输入层输入层隐层隐层输出层输出层x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层隐层隐层输出层输出层输出层的输出层的输出向量输出向量：O=(o1 , o2 , , ok , , ol)Tx0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入
47、层隐层隐层输出层输出层期望的期望的输出向量输出向量：d=(d1 , , dk , , dl )Tx0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层隐层隐层输出层输出层输入向量：输入向量： X = (x1 , x2 , , xi , , xn)T隐层神经元的阈值，可加入隐层神经元的阈值，可加入x0=-1 ； 隐层输出向量：隐层输出向量： Y=(y1 , y2 , , yj , , ym )T输出层神经元的阈值，可加入输出层神经元的阈值，可加入y0=-1； 输出层输出向量：输出层输出向量： O=(o1 , o2 , , ok , , ol)T期望输出向量：期望输出向量
48、：d=(d1 , d2 , , dk , , dl )T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1 , V2 , , Vj , , Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1 , W2 , ,Wk , , Wl)各个变量之间如何各个变量之间如何建立联系，来描述整个建立联系，来描述整个网络？网络？3.2.1 BP网络模型网络模型对于输出层：对于输出层：k=1,2,l (3.6)k=1,2,l(3.7)对于隐层：对于隐层：j=1,2,m (3.8)j=1,2,m (3.9)3.2.1 BP网络模型网络模型单极性单极性Sigmoid函数：函数：(
49、3.10)双极性双极性Sigmoid函数：函数：式式(3.6)式式(3.10)共同构成了三层前馈网的数学模型。共同构成了三层前馈网的数学模型。3.2.1 BP网络模型网络模型(3.11)转移函数：转移函数：(3.10)式式(3.6)式式(3.10)共同构成了三层前馈网的数学模型。共同构成了三层前馈网的数学模型。对于隐层：对于隐层：j=1,2,m (3.8)j=1,2,m (3.9)对于输出层：对于输出层：k=1,2,l (3.6)k=1,2,l(3.7)3.2.1 BP网络模型网络模型?3.2.2 BP学习算法学习算法以三层前馈网为例介绍以三层前馈网为例介绍BP学习算法，然后将所得结论学习算法
50、，然后将所得结论推广到一般多层前馈网的情况。推广到一般多层前馈网的情况。3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路当网络输出与期望输出不等时，存在当网络输出与期望输出不等时，存在输出误差输出误差。定义。定义如下如下(3.12)3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路进一步展开至输入层有进一步展开至输入层有(3.14)由上式可以看出，网络由上式可以看出，网络（的（的输出）输出）误差误差是各层权值是各层权值wjk，vij 的函数，因此调整权值可改变误差的函数，因此调整权值可改变误差E。将以上将以上（输出）误差定义式（输出）误差定义式展开至隐层，
51、有展开至隐层，有(3.13)调整权值的原则是使误差不断地减小，因此权值的调调整权值的原则是使误差不断地减小，因此权值的调整量与误差的负梯度成正比，即整量与误差的负梯度成正比，即3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路j = 0,1,m; k = 1,l(3.15a)i = 0,1,n; j=1,m(3.15b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数 (0, 1) 表示比例系数，表示比例系数，在训练中反映了学习速率。这类算法常被称为误差的梯度下在训练中反映了学习速率。这类算法常被称为误差的梯度下降降(Gradient Descent)算法。算法。在推导过
52、程中，对在推导过程中，对输出层输出层有有 j = 0, 1, ,m; k = 1, l；对；对隐层隐层有有 i = 0,1, , n; j = 1, , m。vij有多少个？有多少个？ wjk有多少个？有多少个？对于输出层，式对于输出层，式(3.15a)可写为可写为3.2.2.2 BP算法推导算法推导(3.16a)对隐层，式（对隐层，式（3.15b）可写为）可写为(3.16b)对输出层和隐层各定义一个对输出层和隐层各定义一个误差信号误差信号，令，令(3.17a)(3.17b)yjxi3.2.2.2 BP算法推导算法推导将式将式(3.16a)的权值调整式改写为的权值调整式改写为(3.18a)将式
53、将式(3.16b)的权值调整式改写为的权值调整式改写为（3.18b)可以看出，只要可以看出，只要计算出式算出式(3.18)中的中的误差信号差信号 ok和和 yj，权值调整量的计算推导即可完成。权值调整量的计算推导即可完成。下面继续推导如何求下面继续推导如何求 ok和和 yj。k = 1, , lj = 0, 1, , mj = 1, , mi = 0, 1, , n对于隐层，对于隐层， yj可展开为可展开为3.2.2.2 BP算法推导算法推导对于于输出出层， ok可展开为可展开为如何求如何求ok和和yj。(3.19a)（3.19b)下面求式下面求式(3.19)中网络中网络(输出输出)误差对各层
54、输出的偏导。误差对各层输出的偏导。3.2.2.2 BP算法推导算法推导网络网络(输出输出)误差对各层输出的偏导。误差对各层输出的偏导。对于输出层，利用式对于输出层，利用式(3.12)：对于隐层，利用式对于隐层，利用式(3.13):可得：可得：（3.20a)可得可得:（3.20b)将以上结果代入式将以上结果代入式(3.19)，并应用式，并应用式(3.11)：E=1/2 (d1-o1)2 + + (dk-ok)2 + + (dl-ol)2o1ok ol = f(net1) = f( w11y1 + + wj1yj + + wm1ym)= f(netk) = f( w1ky1 + + wjkyj +
55、 + wmkym)= f(netl) = f( w1ly1 + + wjlyj + + wmlym)将以上结果代入式将以上结果代入式(3.19)，并应用式，并应用式(3.11)：（3.21a)得到：得到：（3.21b)至此两个误差信号的推导已完成。至此两个误差信号的推导已完成。3.2.2.2 BP算法推导算法推导将式将式(3.21)代回到式代回到式(3.18)，得到三层前馈网的，得到三层前馈网的BP学习学习算法权值调整计算公式为：算法权值调整计算公式为：(3.22a)(3.22b)3.2.2.2 BP算法推导算法推导将式将式(3.21)代回到式代回到式(3.18)，得到三层前馈网的，得到三层前
56、馈网的BP学习学习算法权值调整计算公式为：算法权值调整计算公式为：(3.22a)(3.22b)3.2.2.2 BP算法推导算法推导容易看出，容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，学习算法中，各层权值调整公式形式上都是一样的，均由均由3个因素决定即：学习率个因素决定即：学习率、本层输出的误差信号本层输出的误差信号以及本层输入信以及本层输入信号号Y(或或X)。其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差。映了输出误差。而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始而各隐层的误
57、差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。逐层反传过来的。(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1j = 1, 2, , m(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1j = 1, 2, , m(3.22a)(3.22b)x0y0x1xixnW1WkW
58、lV1VjVmoloko1ymyjy1把计算推广把计算推广到更多层。到更多层。(3.22a)(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1把计算推广把计算推广到更多层。到更多层。(3.22a)(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1把计算推广把计算推广到更多层。到更多层。(3.22a)(3.22b)x0y0x1xixnW1WkWlV1VjVmoloko1ymyjy1把计算推广把计算推广到更多层。到更多层。f(neto)oWf(nety)y3.2.2.3 BP算法的信号流向算法的信号流向 BP算法的特点是信号的前向计算
59、和误差的反向传播流向算法的特点是信号的前向计算和误差的反向传播流向特点，图特点，图3.17 BP算法的信号流向。算法的信号流向。前向过程是：输入信号前向过程是：输入信号X从输入层进入后，通过隐层各节从输入层进入后，通过隐层各节点的内星权向量点的内星权向量Vj得到该层的输出信号得到该层的输出信号Y；该信号向前输入到；该信号向前输入到输出层，通过其各节点内星权向量输出层，通过其各节点内星权向量Wk得到该层输出得到该层输出O。反向过程是：在输出层期望输出反向过程是：在输出层期望输出d与实际输出与实际输出O。相比较。相比较得到误差信号得到误差信号o，由此可计算出输出层权值的调整量；，由此可计算出输出层
60、权值的调整量；误差信号误差信号o通过隐层各节点的外星向量反传至隐层各节点，得通过隐层各节点的外星向量反传至隐层各节点，得到隐层的误差信号到隐层的误差信号y ，由此可计算出隐层权值的调整量。，由此可计算出隐层权值的调整量。XVf(VTX)Wf(WTY)YVTXWTYO Wd+-d-O V作业作业P.69题题3.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。所示，初始权值已标在图中。网络输入模式为网络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试对单次训练过程进行分析，求出：试对单次训练过程进行分析，求出：隐层权值矩阵隐层权值矩
61、阵V和输出层权值矩阵和输出层权值矩阵W各层净输入和输出：各层净输入和输出：nety、Y和和neto、O，其中上标，其中上标y代表代表隐层，上标隐层，上标o代表输出层；代表输出层；各层输出的一阶号数各层输出的一阶号数f(nety)和和f(neto)； 各层误差信号各层误差信号o和和y ；各层权值调整量各层权值调整量 V和和 W；调整后的权值矩阵调整后的权值矩阵V和和W。作业作业P.69题题3.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。所示，初始权值已标在图中。网络输入模式为网络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试
62、对单次训练过程进行分析，求出：试对单次训练过程进行分析，求出：=？作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：1、2、3、计算隐层的净输入和输出，、计算隐层的净输入和输出，作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望
63、输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：4、计算输出层的净输入和输出，、计算输出层的净输入和输出，5、计算输出层的误差信号，、计算输出层的误差信号，作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：6、计算隐层的误差信号、计算隐层的误差信号, 作业作业P.693.14
64、 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：7、计算输出层权值调整量计算输出层权值调整量W1和和W2，作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训
65、练过程进行分析，求出：解：解：8、计算输出层调整后的权值量计算输出层调整后的权值量W1和和W2，作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X = -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：9、计算隐层权值调整量、计算隐层权值调整量 V1和和V2，作业作业P.693.14 BP网络结构如图网络结构如图3.34所示，初始权值已标在图中。网所示，初始权值已标在图中。网络输入模式为络输入模式为X =
66、 -1, 1, 3T，期望输出为，期望输出为d = 0.95, 0.05T。试。试对单次训练过程进行分析，求出：对单次训练过程进行分析，求出：解：解：10、计算隐层调整后的权值量、计算隐层调整后的权值量V1和和V2，3.2.3 BP算法的程序实现算法的程序实现3.2.4BP网络的主要能力网络的主要能力BP网络是目前应用最多的神经网络，这主要归结于基于网络是目前应用最多的神经网络，这主要归结于基于BP算法的多层感知器具有以下一些重要能力。算法的多层感知器具有以下一些重要能力。(1)非线性映射能力非线性映射能力(2)泛化能力泛化能力(3)容错能力容错能力3.2.5误差曲面与误差曲面与BP算法的局限
67、性算法的局限性3.3BP算法的改进算法的改进3.4BP网络设计基础网络设计基础3.5BP网络应用与设计实例网络应用与设计实例第三章第三章小结小结本章介绍了两种基于监督学习的前馈型神经网络：由线性本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用以及误差反向传播算法。采用BP算法的多层感知器简称算法的多层感知器简称BP网网络。络。学习重点如下：学习重点如下：(1)感知器感知器 单层感知器只能解决线性可分的分类问题，多单层感知器只能解决线性可分的分类问题，多层感知器
68、则可解决线性不可分的分类问题。感知器的每个隐节层感知器则可解决线性不可分的分类问题。感知器的每个隐节点可构成一个线性分类判决界，多个节点构成样本空间的凸域，点可构成一个线性分类判决界，多个节点构成样本空间的凸域，输出节点可将凸域内外样本分为两类。输出节点可将凸域内外样本分为两类。(2)标准标准BP算法算法 BP算法的实质是把一组输入输出问题转算法的实质是把一组输入输出问题转化为非线性映射问题，并通过梯度下降算法迭代求解权值；化为非线性映射问题，并通过梯度下降算法迭代求解权值；BP算法分为净输入前向计算和误差反向传播两个过程。网络训练算法分为净输入前向计算和误差反向传播两个过程。网络训练时，两个
69、过程交替出现直到网络的总误差达到预设精度。网络时，两个过程交替出现直到网络的总误差达到预设精度。网络工作时各权值不再变化，对每一给定输入，网络通过前向计算工作时各权值不再变化，对每一给定输入，网络通过前向计算给出输出响应。给出输出响应。第三章第三章小结小结本章介绍了两种基于监督学习的前馈型神经网络：由线性本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用以及误差反向传播算法。采用BP算法的多层感知器简称算法的多层感知器简称BP网网络。络。学习重点如下：学习重点如
70、下：(3)改进的改进的BP算法算法 针对标准针对标准BP算法存在的缺陷提出许多算法存在的缺陷提出许多改进算法。本章介绍了增加动量项法、变学习率法和引入陡度改进算法。本章介绍了增加动量项法、变学习率法和引入陡度因子法。应用因子法。应用BP网络解决设计实际问题时，应尽量采用较成熟网络解决设计实际问题时，应尽量采用较成熟的改进算法。的改进算法。(4)采用采用BP算法的多层前馈网络的设计算法的多层前馈网络的设计 神经网络的设计涉神经网络的设计涉及训练样本集设计、网络结构设计和训练与测试三个方面。训及训练样本集设计、网络结构设计和训练与测试三个方面。训练样本集设计包括原始数据的收集整理、数据分析、变量选
71、择、练样本集设计包括原始数据的收集整理、数据分析、变量选择、特征提取及数据预处理等多方面的工作。网络结构设计包括隐特征提取及数据预处理等多方面的工作。网络结构设计包括隐层数和隐层节点数的选择，初始权值层数和隐层节点数的选择，初始权值(阈值阈值)的选择等，由于缺的选择等，由于缺乏理论指导，主要靠经验和试凑。训练与测试交替进行可找到乏理论指导，主要靠经验和试凑。训练与测试交替进行可找到一个最佳训练次数，以保证网络具有较好的泛化能力。一个最佳训练次数，以保证网络具有较好的泛化能力。第第4章章竞争学习神经网络竞争学习神经网络 4.1竞争学习的概念与原理竞争学习的概念与原理 4.1.1基本概念基本概念
72、4.1.2竞争学习原理竞争学习原理 4.2自组织特征映射神经网络自组织特征映射神经网络 4.2.1SOM网络的生物学基础网络的生物学基础 4.2.2SOM网网(络络)的拓扑结构的拓扑结构与权值调整域与权值调整域 4.2.3自组织特征映射网自组织特征映射网(络络)的运行原理与学习算法的运行原理与学习算法 4.2.3.1运行原理运行原理 4.2.3.2学习算法学习算法 4.2.3.3功能分析功能分析 4.3自组织特征映射网络的设计与应用自组织特征映射网络的设计与应用 4.4自适应共振理论自适应共振理论本章小结本章小结采用有导师学习规则的神经网络要求对所学习的样本要采用有导师学习规则的神经网络要求对
73、所学习的样本要给给“正确答案正确答案”，以便网络根据此，以便网络根据此“正确答案正确答案”来判断输出的误来判断输出的误差，根据误差的大小改进自身的权值，提高正确解决问题的差，根据误差的大小改进自身的权值，提高正确解决问题的能力。能力。然而在很多情况下然而在很多情况下，人在认知过程中没有须知的正确模，人在认知过程中没有须知的正确模式，人们获得大量知识常常是靠式，人们获得大量知识常常是靠“无师自通无师自通”，即通过对客观，即通过对客观事物的反复观察、分析与比较，自行揭示其内在规律，并对事物的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。具有共同特征的事物进行正确归类
74、。自组织神经网络自组织神经网络的无导师学习方式类似于人类大脑中生的无导师学习方式类似于人类大脑中生物神经网络的学习，其物神经网络的学习，其最重要特点是最重要特点是通过自动寻找样本中的通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结内在规律和本质属性，自组织、自适应地改变网络参数与结构。构。这种无导师学习方式，大大拓宽了神经网络在模式识别这种无导师学习方式，大大拓宽了神经网络在模式识别与分类方面的应用。与分类方面的应用。这种这种无导师学习方式也称为无导师学习方式也称为自组织学习自组织学习(self-organized learning) 。第四章第四章 竞争学习神经网络竞
75、争学习神经网络自组织网络结构上属于层次型网络，有多种类型，其共自组织网络结构上属于层次型网络，有多种类型，其共同特点是：都具有竞争层。同特点是：都具有竞争层。最简单的网络结构具有最简单的网络结构具有一个输入层一个输入层和和一个竞争层一个竞争层，如图，如图4.1所示。所示。输入层输入层负责接受外界信息并将输入模式向竞争层传递，负责接受外界信息并将输入模式向竞争层传递，起起“观察观察”作用，作用，竞争层竞争层负责对该模式进行负责对该模式进行“分析比较分析比较”，找出，找出规律以正确归类。规律以正确归类。自组织网络的自组织功能是通过自组织网络的自组织功能是通过竞争学习竞争学习(competitive
76、 learning)来实现的。来实现的。输人层输人层竞争层竞争层第四章第四章 竞争学习神经网络竞争学习神经网络4.1竞争学习的概念与原理竞争学习的概念与原理4.1.1基本概念基本概念4.1.1.1 模式、分类、聚类与相似性模式、分类、聚类与相似性4.1.1.2相似性测量相似性测量4.1.1.3侧抑制与竞争侧抑制与竞争4.1.1.4向量归一化向量归一化不同的向量有长短和方向的区别，向量归一化的目的是不同的向量有长短和方向的区别，向量归一化的目的是将向量变成将向量变成方向不变长度为方向不变长度为1的单位向量。的单位向量。2维和维和3维的单位向量可以在维的单位向量可以在单位圆单位圆和和单位球单位球上
77、直观表示。上直观表示。单位向量进行比较时，只需比较向量的夹角。单位向量进行比较时，只需比较向量的夹角。向量归一化按下式进行向量归一化按下式进行（4.34.3）式中归一化后的向量用式中归一化后的向量用标记。标记。在竞争学习策略中采用的典型学习规则称为在竞争学习策略中采用的典型学习规则称为胜者为王胜者为王（Winner-Take-All）。该算法可分为）。该算法可分为3个步骤个步骤。(1)向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X和自组织网络中的竞争层中各神和自组织网络中的竞争层中各神经元对应的内星向量经元对应的内星向量W(j=1，2，m)全部进行归一化处理，全部进行归一
78、化处理，得到得到X和和W(j1，2，m)(2)寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向量当网络得到一个输入模式向量X时，竞争层的所有神经元时，竞争层的所有神经元对应的内星权向量对应的内星权向量W (j1，2，m)均与均与X进行相似性比进行相似性比较。将与较。将与X最相似的内星权向量判为竞争获胜神经元，其权向最相似的内星权向量判为竞争获胜神经元，其权向量记为量记为Wj*。测量相似性的方法是对。测量相似性的方法是对W 和和X计算欧式距离计算欧式距离(或或夹角余弦夹角余弦) （4.4）4.1.2.1 竞争学习规则竞争学习规则4.1.2 竞争学习原理竞争学习原理4.1.2.1 竞争学习规
79、则竞争学习规则(2)寻找获胜神经元寻找获胜神经元 （4.4）将上式展开并利用单位向量的特点，可得将上式展开并利用单位向量的特点，可得于是于是按式按式(4.4)求最小欧式距离求最小欧式距离的问题就转化为的问题就转化为按式按式(4.5)求求最大点积最大点积的问题，而权向量与输入向量的点积正是竞争层神经的问题，而权向量与输入向量的点积正是竞争层神经元的元的净输入净输入。从上式可以看出，欲使两单位向量的欧式距离最小须使从上式可以看出，欲使两单位向量的欧式距离最小须使两向量的点积最大。即两向量的点积最大。即 （4.5）4.1.2 竞争学习原理竞争学习原理4.1.2.1 竞争学习规则竞争学习规则(3)网络
80、输出与权值调整网络输出与权值调整 胜者为王竞争学习算法规定，胜者为王竞争学习算法规定，获胜神经元输出为获胜神经元输出为1，其余，其余输为零。即输为零。即 （4.6）只有获胜神经元才有权调整其权向量只有获胜神经元才有权调整其权向量，调整后权向量为，调整后权向量为式中，式中，(t)为学习率，一般其值随着学习的进展而减小。可以看为学习率，一般其值随着学习的进展而减小。可以看出，当时出，当时jj*，对应神经元的权值得不到调整，其实质是，对应神经元的权值得不到调整，其实质是“胜者胜者”对它们进行了强侧抑制，不允许它们兴奋。对它们进行了强侧抑制，不允许它们兴奋。应当指出，归一化的权向量应当指出，归一化的权
81、向量经过调整后经过调整后得到的新向量不再得到的新向量不再是单位向量，因此需要对是单位向量，因此需要对调整后的向量重新归一化调整后的向量重新归一化。步骤步骤(3)完完成后回到步骤成后回到步骤(1)继续训练继续训练，直到学习率，直到学习率(t)衰减到衰减到0。 j j j*j*（4.7）4.1.2 竞争学习原理竞争学习原理4.1.2.1 竞争学习规则竞争学习规则竞争学习算法的竞争学习算法的3个步骤。个步骤。(1)向量归一化向量归一化 (2)寻找获胜神经元寻找获胜神经元 (3)网络输出与权值调整网络输出与权值调整 应当指出，归一化后的权向量经过调整后得到的新向量不应当指出，归一化后的权向量经过调整后
82、得到的新向量不再是单位向量，因此需要对调整后的向量重新归一化。再是单位向量，因此需要对调整后的向量重新归一化。步骤步骤(3)完成后回到步骤完成后回到步骤(1)继续训练继续训练，直到学习率，直到学习率(t)衰减到衰减到0。4.1.2 竞争学习原理竞争学习原理设输入模式为二维向量，归一化后其矢端可以看成分布在设输入模式为二维向量，归一化后其矢端可以看成分布在图图4.4单位圆上的点，用单位圆上的点，用“O”表示。表示。设设竞争层有竞争层有4个神经元，对应的个神经元，对应的4个内星向量归一化后也标个内星向量归一化后也标在同一单位圆上，用在同一单位圆上，用“*”表示。表示。自自组织网络的训练样组织网络的
83、训练样本中只提供了输人模式而本中只提供了输人模式而没有提供关于分类的指导没有提供关于分类的指导信息，信息，网络是如何通过竞网络是如何通过竞争机制自动发现样本空间争机制自动发现样本空间的类别划分呢的类别划分呢？图图4.4 竞争学习的几何意义竞争学习的几何意义从输入模式点的分布从输入模式点的分布可以看出，它们大体上聚可以看出，它们大体上聚集为集为4簇，因而可以分为簇，因而可以分为4类。类。4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理自组织网络在开始训练前，先对竞争层的权向量进行随机自组织网络在开始训练前，先对竞争层的权向量进行随机初始化。单位圆上的初始化。单位圆上的
84、是随机分布的。从图是随机分布的。从图4.5可以看出，如果可以看出，如果当前输入模式用实心圆当前输入模式用实心圆表示，单位圆上各表示，单位圆上各点代表的权向量依点代表的权向量依次同次同点代表的输入向量比较距离，结果是离得最近的那个点代表的输入向量比较距离，结果是离得最近的那个点点获胜。获胜。从获胜神经元的权从获胜神经元的权值调整式可以看出，调值调整式可以看出，调整的结果是使整的结果是使Wj*进一步进一步接近当前输入接近当前输入X。4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理调整后，获胜调整后，获胜点的位置进一步移向点的位置进一步移向点及其所在的簇。显点及其所在的簇
85、。显然，当下次出现与然，当下次出现与点相像的同簇内的输入模式时，上次获胜的点相像的同簇内的输入模式时，上次获胜的点更容易获胜。点更容易获胜。依此方式经过充分训练依此方式经过充分训练后，单位圆上的后，单位圆上的4个个点会点会逐渐移入各输入模式的簇中逐渐移入各输入模式的簇中心，从而使竞争层每个神经心，从而使竞争层每个神经元的权向量成为输入模式一元的权向量成为输入模式一个聚类中心。个聚类中心。当向网络输入一个模式当向网络输入一个模式时，竞争层中哪个神经元获时，竞争层中哪个神经元获胜使输出为胜使输出为1，当前输入模，当前输入模式就归为哪类。式就归为哪类。4.1.2 竞争学习原理竞争学习原理4.1.2.
86、2 竞争学习原理竞争学习原理例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：竞争层设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：X1=1 36.9；X2=1 -80；X3= 1 45；X4=1 -70；X5=1 53.1取学习率取学习率0.5，按，按15的顺序依次输入模式向量，用的顺序依次输入模式向量，用式式(4.7)给出的算法调整权值，每次修改后重新进行归一化。给出的算法调整权值，每次修改后重新进行归一化。前前20次训练中两个权
87、向量的变化情况列于表次训练中两个权向量的变化情况列于表4.1中。中。4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理（请仔细请仔细看一看表中权向量的变化情况。）看一看表中权向量的变化情况。）训练此时训练此时W1W2训练此时训练此时W1W200 -180 118.43 -180 1140.5 -100 2-30.8 -180 1240.5 -90 37 -180 1343 -90 432 -180 1
88、443 -81 511 -180 1547.5 -81 624 -180 1642 -81 724 -130 1742 -80.5 834 -130 1843.5 -80.5 934 -100 1943.5 -75 1044 -100 2048.5 -75 例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理（请仔细请仔细看一看表中权向量的变化情况。看一看表中权向量的变化情况。能否能否说明一下变化的过程？）说明一下变化的过程？）训练此时训练此时W1W2训练此时训练此时W1W20
89、0 -180 118.43 -180 1140.5 -100 2-30.8 -180 1240.5 -90 37 -180 1343 -90 432 -180 1443 -81 511 -180 1547.5 -81 624 -180 1642 -81 724 -130 1742 -80.5 834 -130 1843.5 -80.5 934 -100 1943.5 -75 1044 -100 2048.5 -75 例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：X X1 1=136.9=136.9；X X2 2=1-80=1
90、-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2取学习率取学习率=0.5，按按15的顺序依次输入模式向量的顺序依次输入模式向量，用，用式（式（4.7）给出的算法调整权）给出的算法调整权值，每次修改权值后重新进行值，每次修改权值后重新进行归一化。归一化。 j j j*j*（4.7）4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类
91、：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量输入模式向量X1，获胜神经元是哪个？获胜神经元是哪个？t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2
92、.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量输入模式向量X1，获胜神经元是那个？获胜神经元是那个？t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X
93、2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2W1获胜。获胜。输入模式向量输入模式向量X1，获胜神经元是那个？获胜神经元是那个？t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 14
94、5；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量输入模式向量X1，W1获胜。获胜。获胜神经元是那个？获胜神经元是那个？t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153
95、.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2计算权值调整量计算权值调整量修改权值修改权值重新进行归一化重新进行归一化W W1 1=118.4=118.4；W W2 2=1180=1180t = 0例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=15
96、3.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2算法权值调整量算法权值调整量修改权值修改权值重新进行归一化重新进行归一化t = 0W W1 1=118.4=118.4；W W2 2=1180=1180例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=1
97、53.1=153.1W W1 1=10=10；W W2 2=1-180=1-180x5x1x4x3x2算法权值调整量算法权值调整量修改权值修改权值重新进行归一化重新进行归一化t = 0W W1 1=118.4=118.4；W W2 2=1180=1180例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=
98、153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2t = 1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量
99、输入模式向量X2，获胜神经元？获胜神经元？t = 1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量输入模式向量X2，W1获胜。获胜。获胜神经元？获胜神经元？t = 1例例4
100、.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2输入模式向量输入模式向量X2，W1获胜。获胜。获胜神经元？获胜神经元？t = 1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法
101、将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2算法权值调整量算法权值调整量修改权值修改权值重新进行归一化重新进行归一化W W1 1=1-30.7=1-30.7；W W2 2=1180=1180t = 1例例4.1 4.1 用竞争学习算法将下列各模式
102、分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2算法权值调整量算法权值调整量修改权值修改权值重新进行归一化重新进行归一化W W1 1=1-30.7=1-30.7；W W2 2=1180=1180t = 1例例4.1 4.1 用竞争学
103、习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：解解( (续续) )：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理X X1 1=136.9=136.9；X X2 2=1-80=1-80；X X3 3= 145= 145；X X4 4=1-70=1-70；X X5 5=153.1=153.1W W1 1=118.6=118.6；W W2 2=1-180=1-180x5x1x4x3x2算法权值调整量算法权值调整量修改权值修改权值重新进行归一化重新进行归一化W W1 1=1-30.7=1-30.7；W W2 2=1180=1180t = 1例例4.1
104、 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理训练此时训练此时W1W2训练此时训练此时W1W200 -180 118.43 -180 1140.5 -100 2-30.8 -180 1240.5 -90 37 -180 1343 -90 432 -180 1443 -81 511 -180 1547.5 -81 624 -180 1642 -81 724 -130 1742 -80.5 834 -130 1843.5 -80.5 934 -100 1943.5 -75 1044 -
105、100 2048.5 -75 例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：4.1.2 竞争学习原理竞争学习原理4.1.2.2 竞争学习原理竞争学习原理在单位圆中，可以看出，在单位圆中，可以看出，X1、X3、X5属于同一模式类，其属于同一模式类，其中心向量应为中心向量应为(X1+X3+X5)/3=1 45，X2、X4属于同一模式类，属于同一模式类，其中心向量应为其中心向量应为(X2+X4)/2=1 -75。经过。经过20次训练，次训练，W1和和W2就已经非常接近就已经非常接近1 45和和1 -75了。了。如果训练继续下去，两个权向量是否会最终收敛
106、于两个模如果训练继续下去，两个权向量是否会最终收敛于两个模式类中心呢？式类中心呢？如果训练中如果训练中学习率保持为常数学习率保持为常数，W1和和W2将在将在1 45和和1 -75附近来回摆动，永远也不可能收敛。附近来回摆动，永远也不可能收敛。只有当只有当学习率随训练时间不断下降（直至零）学习率随训练时间不断下降（直至零），才有可能，才有可能使摆动减弱至终止。使摆动减弱至终止。下面将要介绍的自组织特征映射网就是采取了这种训练方下面将要介绍的自组织特征映射网就是采取了这种训练方法。法。(学习率随训练时间的增加而不断下降。学习率随训练时间的增加而不断下降。)设训练集中共有设训练集中共有4个输入模式，
107、均为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为解：设学习率解：设学习率为为0.5，输入模式向量输入模式向量X1，获胜神经元是那个？获胜神经元是那个？课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”因为因为 ，所以，所以W1获胜。获胜。 x3x4x1x2解解(续续)：计算权值调整
108、量，：计算权值调整量，修改权值，修改权值，重新进行归一化，得：重新进行归一化，得：调整后的调整后的权值权值为：为：设训练集中共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”设训练集中共有设训练集中共有4个输入模式，均
109、为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为解解(续续)：输入模式向量输入模式向量X2，课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”因为因为 ，所以，所以W2获胜。获胜。 x3x4x1x2解解(续续)：计算权值调整量，：计算权值调整量，修改权值，修改权值，重新进行归一化，得
110、：重新进行归一化，得：调整后的调整后的权值权值为：为：设训练集中共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”设训练集中共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位向量 X1, X2, X3,
111、X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为解解(续续)：输入模式向量输入模式向量X3，因为因为，所以，所以W1获胜。获胜。课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”x3x4x1x2解解(续续)：计算权值调整量，：计算权值调整量，修改权值，修改权值，重新进行归一化，得：重新进行归一化，得：调整后的调整后的权值权值为：为：设训练集中
112、共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”设训练集中共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜
113、者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。x3x4x1x2题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为解解(续续)：输入模式向量输入模式向量X4，因为因为，所以，所以W2获胜。获胜。课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”x3x4x1x2解解(续续)：计算权值调整量，：计算权值调整量，修改权值，修改权值，重新进行归一化，得：重新进行归一化，得：调整后的调整后的权值权值为：为：设训练集中共有设训练集中共有4个输入模式，均为单位向量个输入模式，均为单位
114、向量 X1, X2, X3, X4=1 45, 1 -135, 1 90, 1 -180试用胜者为王学习算法调整权值，写出迭代一次的调整结果。试用胜者为王学习算法调整权值，写出迭代一次的调整结果。题题4.5 自组织网由输入层与竞争层组成，初始权向量已归一化为自组织网由输入层与竞争层组成，初始权向量已归一化为课堂作业课堂作业“竞争学习的竞争学习的概念与原理概念与原理”4.2 自组织特征映射自组织特征映射(SOM)神经网络神经网络1981年芬兰年芬兰Helsink大学的大学的T.Kohonen教授提出一种自组教授提出一种自组织特征映射网织特征映射网(SelfOrganiazing feature
115、Map，简称，简称SOM)，又称，又称Kohonen网网。Kohonen认为，一个神经网络接受外界输入模式时，将认为，一个神经网络接受外界输入模式时，将会会分为不同的对应区域，分为不同的对应区域，各区域对输入模式具有不同的响应特各区域对输入模式具有不同的响应特征，而且这个过程是征，而且这个过程是自动完成的自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。脑的自组织特性相类似。4.2.1SOM网络的生物学基础网络的生物学基础4.2.2SOM网网(络络)的的拓扑结构拓扑结构与与权值调整域权值调整域4.2 自组织特征
116、映射自组织特征映射(SOM)神经网络神经网络4.2.2 SOM网网(络络)的的拓扑结构拓扑结构与权值调整域与权值调整域SOM网共有两层，输入层模拟感知外界输入信息的视网膜，网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。输出层模拟做出响应的大脑皮层。输入层输入层的形式与的形式与BP网相同，节点数与（输入）样本维数网相同，节点数与（输入）样本维数相等。输出层也是竞争层，神经元的排列有多种形式，如一维相等。输出层也是竞争层，神经元的排列有多种形式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种类型，下面线阵、二维平面阵和三维栅格阵，常见的是前两种类型，下面分别予以
117、介绍。分别予以介绍。输出层按一维阵列组织的输出层按一维阵列组织的SOM网是最简单的自组织神经网网是最简单的自组织神经网络，其结构特点与图络，其结构特点与图4.1中的网络相同，惟一区别是图中的网络相同，惟一区别是图4.6(a)中中的一维阵列的一维阵列SOM网的输出层只标出相邻神经元间的网的输出层只标出相邻神经元间的侧向连接侧向连接。输出按二维平面组织输出按二维平面组织是是SOM网最典型的组织方式，该组织方式网最典型的组织方式，该组织方式更具有大脑皮层的形象。输出层的每个神经元同它周围的其他更具有大脑皮层的形象。输出层的每个神经元同它周围的其他神经元神经元侧向连接侧向连接，排列成棋盘状平面，结构如
118、图，排列成棋盘状平面，结构如图4.6(b)所示。所示。4.2.2.1 拓扑结构拓扑结构4.2 自组织特征映射自组织特征映射(SOM)神经网络神经网络4.2.2.1 拓扑结构拓扑结构4.2.2 SOM网网(络络)的拓扑结构与权值调整域的拓扑结构与权值调整域4.2.3 自组织特征映射网自组织特征映射网(络络)的运行原理与学习算法的运行原理与学习算法4.2.3.1 运行原理运行原理4.2 自组织特征映射自组织特征映射(SOM)神经网络神经网络4.2.3.2 学习算法学习算法4.2.3.3 功能分析功能分析SOM网的功能特点之一是保序映射。网的功能特点之一是保序映射。SOM网的功能特点之二是数据压缩。
119、网的功能特点之二是数据压缩。SOM网的功能特点之三是特征抽取。网的功能特点之三是特征抽取。第第6章章反馈神经网络反馈神经网络 6.1离散型离散型Hopfield神经网络神经网络(DHNN) 6.1.1网络的结构与工作方式网络的结构与工作方式 6.1.2网络的稳定性与吸引子网络的稳定性与吸引子 6.1.2.1网络的稳定性网络的稳定性 6.1.2.2吸引子吸引子与能量函数与能量函数 6.1.2.3吸引子的性质吸引子的性质 6.1.2.4吸引子的吸引域吸引子的吸引域 6.1.3网络的权值设计网络的权值设计 6.1.4网络的信息存储容量网络的信息存储容量 6.2连续型连续型Hopfield神经网络神经
120、网络(CHNN) 6.3Hopfield网络应用与设计实例网络应用与设计实例 6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络 6.5随机神经网络随机神经网络 6.6递归神经网络递归神经网络6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1 网络的结构与工作方式网络的结构与工作方式离散型反馈网络的拓扑结构如图离散型反馈网络的拓扑结构如图6.1所示。所示。这是一种单这是一种单层全反馈网络，层全反馈网络，共有共有n个神经元。个神经元。任何一神经任何一神经元的输出元的输出xi均通过均通过连接权连接权wij，反馈，反馈至所有神经元至所有神经元xj作作为输入。为输入。每个
121、神经元都通过连接权接收所有其它神经元输出反馈回每个神经元都通过连接权接收所有其它神经元输出反馈回来的信息，目的是为了让任何一神经元的输出都能受所有神经来的信息，目的是为了让任何一神经元的输出都能受所有神经元输出的控制，从而使各神经元的输出能相互制约。每个神经元输出的控制，从而使各神经元的输出能相互制约。每个神经元均设有一个阈值元均设有一个阈值Tj。DHNN网可简记为网可简记为N=(W, T)。 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1 网络的结构与工作方式网络的结构与工作方式(1)网络的状态网络的状态 DHNN网中的网中的每个神经元都有每个神经元都有相同的功能
122、，其相同的功能，其输出称为状态，输出称为状态，用用xj表示，所有神表示，所有神经元状态的集合经元状态的集合就构成反馈网络就构成反馈网络的状态的状态反馈网络的反馈网络的输入输入就是网络的就是网络的状态初始值状态初始值，表示为，表示为X(0)=x1(0)，x2(0)，xn(0)T。 X=x1，x2，xnT。 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1 网络的结构与工作方式网络的结构与工作方式反馈网络在外界输入激发下，从初始状态进入动态演变过反馈网络在外界输入激发下，从初始状态进入动态演变过程，其间网络中每个神经元的状态在不断变化，变化规律由下程，其间网络中每个神经元
123、的状态在不断变化，变化规律由下式规定式规定xj = f(netj) j = 1, 2, , n其中，其中，f()为转移函数，为转移函数，DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数j=1,2,n(6.1) j=1,2,n (6.2) (1)网络的状态网络的状态 式中净输入为：式中净输入为： 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1 网络的结构与工作方式网络的结构与工作方式对于对于DHNN网，一般有网，一般有wii=0，wij=wji。反馈网络稳定反馈网络稳定时，每个神经元的时，每个神经元的状态都不再改变，状态都不再改变，此时的稳定状态就此时的稳
124、定状态就是网络的输出，表是网络的输出，表示为示为反馈网络是如何从初始状态反馈网络是如何从初始状态X(0)演变到稳定状态演变到稳定状态X(t)的的 X(t+1)=X(t) ？(1)网络的状态网络的状态 wi1=w1iwi2=w2iwin=wni6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1 网络的结构与工作方式网络的结构与工作方式网络的异步工作方式是一种串行方式。网络运行时，每次网络的异步工作方式是一种串行方式。网络运行时，每次只有一个神经元只有一个神经元i按式按式(6.1)进行状态的调整计算，其他神经元的进行状态的调整计算，其他神经元的状态均保持不变，即状态均保持不
125、变，即神经元状态的调整次序可以按某种规定的次序进行，也可神经元状态的调整次序可以按某种规定的次序进行，也可以随机选定。以随机选定。(2)网络的网络的异步工作方式异步工作方式 (6.3) 网络的同步工作方式是一种并行方式。网络运行时，所有网络的同步工作方式是一种并行方式。网络运行时，所有神经元同时调整状态，即神经元同时调整状态，即(3)网络的网络的同步工作方式同步工作方式 j=1,2,n(6.4) 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子反馈网络是一种能存储若干个反馈网络是一种能存储若干个预先设置预先设置的稳定点（状态）
126、的稳定点（状态）的网络。的网络。运行时，当向该网络施加一个起原始推动作用的初始输入运行时，当向该网络施加一个起原始推动作用的初始输入模式模式X(0)后，网络便将其输出反馈回来作为下次的输入。经若后，网络便将其输出反馈回来作为下次的输入。经若干次循环（迭代）之后，在网络结构满足一定条件的前提下，干次循环（迭代）之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先设定的稳定点。网络最终将会稳定在某一预先设定的稳定点。设设X(0)为网络的初始激活向量，它仅在初始瞬间为网络的初始激活向量，它仅在初始瞬间t=0时作用时作用于网络，起原始推动作用。于网络，起原始推动作用。X(0)移去之后，网络
127、处于自激状态，移去之后，网络处于自激状态，即由反馈回来的向量即由反馈回来的向量X(1)作为下一次的输入取而代之。作为下一次的输入取而代之。反馈网络作为非线性动力学系统，具有丰富的动态特件，反馈网络作为非线性动力学系统，具有丰富的动态特件，如稳定性、有限环状态和混沌如稳定性、有限环状态和混沌(chaos)状态等。状态等。6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态： DHNN网实质上是一个离散的非线性动力学系统。网络从网实质上是
128、一个离散的非线性动力学系统。网络从初态初态X(0)开始，若能经有限次递归后，其状态不再发生变化，开始，若能经有限次递归后，其状态不再发生变化，即即X(t+1)=X(t)，则称，则称该网络是稳定的该网络是稳定的。 6.1.2.1 网络的稳定性网络的稳定性6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子若网络是不稳定的，由于若网络是不稳定的，由于DHNN网每个节点的状态只有网每个节点的状态只有1和和-1两种情况，网络不可能出现无限发散的情况，而只可能出现两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称
129、为有限环网络。限幅的自持振荡，这种网络称为有限环网络。 6.1.2.1 网络的稳定性网络的稳定性6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子对于对于DHNN网，由于网络的状态是有限的，因此不可能出网，由于网络的状态是有限的，因此不可能出现浑浊现象。现浑浊现象。 如果网络状态的轨迹在某个确定的范围内变迁，但既不重如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为浑沌。这种现象称为浑沌。 6.1.2.1 网络
130、的稳定性网络的稳定性Chaos n. 混沌，混乱，混沌，混乱， (完全完全)无秩序，不整齐无秩序，不整齐6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子利用利用Hopfield网的稳态可实现网的稳态可实现联想记忆功能联想记忆功能。在拓扑结构及权矩阵均一定的情况下，在拓扑结构及权矩阵均一定的情况下， Hopfield网能存储网能存储若干个预先设置的稳定状态；而网络运行后达到哪个稳定状态若干个预先设置的稳定状态；而网络运行后达到哪个稳定状态将与其初始状态有关。若用网络的稳态将与其初始状态有关。若用网络的稳态代表一种记忆模式代表一种
131、记忆模式，初，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程。初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程。初态可视为态可视为记忆模式的部分信息记忆模式的部分信息，网络演变的过程可视为从部分，网络演变的过程可视为从部分信息回忆起全部信息的过程，从而实现了联想记忆功能。信息回忆起全部信息的过程，从而实现了联想记忆功能。网络的稳定性与将要介绍的能量函数密切相关，网络的稳定性与将要介绍的能量函数密切相关，利用网络利用网络的能量函数可实现优化求解的能量函数可实现优化求解功能。功能。网络的能量函数在网络状态变化时，能自动趋向能量的极网络的能量函数在网络状态变化时，能自动趋向能量的极小点。如
132、果把一个待求解问题的小点。如果把一个待求解问题的目标函数以网络能量函数的形目标函数以网络能量函数的形式表达出来式表达出来，当能量函数趋于最小时，对应的网络状态就是问，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网络的初态可视为问题的初始解，网络从初态向题的最优解。网络的初态可视为问题的初始解，网络从初态向稳态的收敛过程便是稳态的收敛过程便是优化计算的过程优化计算的过程，这种寻优搜索是在网络，这种寻优搜索是在网络演变过程中自动完成的。演变过程中自动完成的。6.1.2.1 网络的稳定性网络的稳定性6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸
133、引子网络的稳定性与吸引子网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的吸引子吸引子。如果把吸引子视为问题的解，那么从如果把吸引子视为问题的解，那么从初始状态初始状态朝朝吸引子吸引子演演变的过程便是求解计算的过程。变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从含有部分记忆信息的样本时，网络的演变过程便是从部分信息部分信息寻找寻找全部信息全部信息，即联想回忆的过程。，即联想回忆的过程。6.1.2.2 吸引子与能量函数吸引子与能量函数定义定义6.1 若网
134、络的状态若网络的状态X满足满足X = f(WX-T)，则称，则称X为网络的吸为网络的吸引子。引子。 定理定理6.1 对于对于DHNN网，若按异步方式调整网络状态，且连接网，若按异步方式调整网络状态，且连接权矩阵权矩阵W 为为对称阵对称阵，则对于，则对于任意初态任意初态，网络都最终收敛到一个，网络都最终收敛到一个吸引子。吸引子。 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子定理定理6.1证明：证明： 6.1.2.2 吸引子与能量函数吸引子与能量函数定义网络的能量函数为定义网络的能量函数为(6.5) 令网络的能量改变量为令网络
135、的能量改变量为E，状态改变量为，状态改变量为X，有，有(6.6) (6.7) 定理定理6.1 对于对于DHNN网，若按异步方式调整网络状态，且连接网，若按异步方式调整网络状态，且连接权矩阵权矩阵W 为为对称阵对称阵，则对于，则对于任意初态任意初态，网络都最终收敛到一个，网络都最终收敛到一个吸引子。吸引子。 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子定理定理6.1证明：证明： 6.1.2.2 吸引子与能量函数吸引子与能量函数定义网络的能量函数为定义网络的能量函数为将式将式(6.6)、(6.7)代入代入(6.5)，则网络能量
136、可进一步展开为，则网络能量可进一步展开为 (6.5) 令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有(6.6) (6.7) 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子6.1.2.2 吸引子与能量函数吸引子与能量函数由于定理由于定理6.1规定，按异步工作方式，第规定，按异步工作方式，第t个时刻只有个时刻只有1个神个神经元调整状态，设该神经元为经元调整状态，设该神经元为j，将，将 X(t)=0,0, xj(t),0, 0T代入上式，并考虑到代入上式，并考虑到W为对称矩阵，有为对称矩阵，有设各
137、神经元不存在自反馈，所以有设各神经元不存在自反馈，所以有wjj=0，并引入式，并引入式(6.3)，上式可简化为上式可简化为(6.8) 6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子6.1.2.2 吸引子与能量函数吸引子与能量函数考虑上式中可能出现的所有情况。考虑上式中可能出现的所有情况。情况情况a：xj(t)=-1, xj(t+1)=1, 由式由式(6.7)得得xj(t)=2, 由式由式(6.1)知，知，netj(t) 0，代入式，代入式(6.9)，得，得E(t) 0。情况情况b：xj(t)=1, xj(t+1)=-1, 所
138、以所以xj(t)=-2, 由式由式(6.1)知，知，netj(t)0，代入式，代入式(6.9)，得，得E(t)0。情况情况c：xj(t)=xj(t+1), 所以所以xj(t)=0, 代入式代入式(6.9)，从而有，从而有E(t)=0。 由此可知在任何情况下均有由此可知在任何情况下均有E(t) 0 。(6.9)6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子以上三种情况包括了式以上三种情况包括了式(6.9)可能出现的所有情况，由此可可能出现的所有情况，由此可知在任何情况下均有知在任何情况下均有E(t)0，也就是说，在网络动态演变
139、过程中，也就是说，在网络动态演变过程中，能量总是在不断下降或保持不变。由于网络中各节点的状态只能能量总是在不断下降或保持不变。由于网络中各节点的状态只能取取1或或-1，能量函数，能量函数E(t)作为网络状态的函数是有下界的，因此作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时网络能量函数最终将收敛于一个常数，此时 E(t)=0。6.1.2.2 吸引子与能量函数吸引子与能量函数当当E(t)收敛于常数时，收敛于常数时，是否对应于网络的稳态？是否对应于网络的稳态？当当E(t)收敛收敛于常数时，有于常数时，有 E(t)=0，此时对应于以下两种情况。，此时对应于以下两种情况。情况
140、情况a：xj(t)=xj(t+1)=1，或，或xj(t)=xj(t+1)=-1，这种情况下神经元这种情况下神经元j的状态不再改变，表明网络已进入稳态，对应的网络状态就是网的状态不再改变，表明网络已进入稳态，对应的网络状态就是网络的吸引子。络的吸引子。情况情况b：xj(t)=-1， netj(t)=0， xj(t+1)=1，这种情况下网络继续这种情况下网络继续演变时，演变时，xj=1将不会再变化。因为如果将不会再变化。因为如果xj由由1变回到变回到-1，则有，则有 E(t)0，与，与E(t)收敛于常数的情况相矛盾。收敛于常数的情况相矛盾。6.1 离散型离散型Hopfield神经网络神经网络(DH
141、NN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子综上所述，当网络工作方式和权矩阵均满足定理综上所述，当网络工作方式和权矩阵均满足定理6.1的条件的条件时，网络最终将收敛到一个吸引子。时，网络最终将收敛到一个吸引子。6.1.2.2 吸引子与能量函数吸引子与能量函数事实上，对事实上，对wjj=0的规定是为了数学推导的简便，如不做此的规定是为了数学推导的简便，如不做此规定，上述结论仍然成立。此外当神经元状态取规定，上述结论仍然成立。此外当神经元状态取1和和0时，上述时，上述结论也将成立。结论也将成立。定理定理6.2 对于对于DHNN网，若按同步方式调整状态，且连接权矩网，若按同步方式调整状
142、态，且连接权矩阵阵W为为非负定对称阵非负定对称阵，则对于任意初态，网络都最终收敛到一，则对于任意初态，网络都最终收敛到一个吸引子。个吸引子。证：由式证：由式(6.8)得得6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子6.1.2.2 吸引子与能量函数吸引子与能量函数前已证明，前已证明，对于任何神经元对于任何神经元j，有，有- xj(t)netj(t)0，因此上，因此上式第一项不大于式第一项不大于0。只要只要W为为非负定阵非负定阵，第二项也不大于，第二项也不大于0，于是有，于是有E(t)0，也，也就是说就是说E(t)最终将收敛到
143、一个常数值，对应的稳定状态是网络最终将收敛到一个常数值，对应的稳定状态是网络的一个吸引子。的一个吸引子。以上分析表明，在网络从初态向稳态演变的过程中，网络以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。量井，能量井对应于网络的吸引子。6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸
144、引子6.1.2.3 吸引子的性质吸引子的性质性质性质1 若若X是网络的一个吸引子，且是网络的一个吸引子，且阈值阈值T=0，在在sgn(0)处，处， x(t+1)=x(t)，则，则-X也一定是该网络的吸引子。也一定是该网络的吸引子。证：因为证：因为X是吸引子，即是吸引子，即X = f( WX )，从而有，从而有 f W(-X) = f -WX = - f WX = -X所以所以-X也是该网络的吸引子。也是该网络的吸引子。6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子6.1.2.3 吸引子的性质吸引子的性质性质性质2 若若Xa是
145、网络的一个吸引子，则与是网络的一个吸引子，则与Xa的海明距离的海明距离dH(Xa,Xb) = 1的的Xb一定不是吸引子。一定不是吸引子。证：首先说明，两个向量的海明距离证：首先说明，两个向量的海明距离dH(Xa，Xb)是指两个向量是指两个向量中不相同元素的个数。中不相同元素的个数。不妨设不妨设xa1xb1， xaj = xbj， j=2，3，n。因为因为w110，由吸引子定义，有，由吸引子定义，有又假设条件知，又假设条件知， xa1xb1 ，故，故所以所以Xb不是该网络的吸引子。不是该网络的吸引子。6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子
146、网络的稳定性与吸引子6.1.2.3 吸引子的性质吸引子的性质性质性质3 若有一组向量若有一组向量Xp（p=1，2，P）均是网络的吸引）均是网络的吸引子，且在子，且在sgn(0)处，处，xj(t+1)=xj(t)，则由该组向量线性组合而，则由该组向量线性组合而成的向量成的向量也是该网络的吸引子。也是该网络的吸引子。（该性质请读者自己证明。）（该性质请读者自己证明。）6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子例例6.2 有一有一DHNN网，网，n=4，Tj=0，j=1,2,3,4，向量，向量Xa、Xb和权值矩阵和权值矩阵W分
147、别为分别为 检验检验Xa和和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。是否为网络的吸引子，并考察其是否具有联想记忆能力。解解: 本例要求验证吸引子和检查吸引域，下面分两步进行。本例要求验证吸引子和检查吸引域，下面分两步进行。检验吸引子，由吸引子定义检验吸引子，由吸引子定义所以所以Xa是网络的吸引子。是网络的吸引子。因为因为Xb=-Xa，由吸引子的性质，由吸引子的性质1知，知，Xb也是网络的吸引子。也是网络的吸引子。6.1 离散型离散型Hopfield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子例例6.2 有一有一DHNN网，网，n=4，Tj=0，
148、j=1,2,3,4，向量，向量Xa、Xb和权值矩阵和权值矩阵W分别为分别为 检验检验Xa和和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。是否为网络的吸引子，并考察其是否具有联想记忆能力。解（续）：解（续）： 考察联想记忆能力考察联想记忆能力 设有样本设有样本X1=(-1,1,1,1)、X2=(1,-1,-1,-1)、X3=(1,1,-1,-1)，试考察网络以，试考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。异步方式工作时两个吸引子对三个样本的吸引能力。令网络初态令网络初态X(0)=X1=(-1,1,1,1)。设神经元状态调整次序为：。设神经元状态调整次序为：123 4，有，
149、有X(0)=(-1,1,1,1)X(1)=(1,1,1,1)=Xa，可以看出该样本比较接近吸引，可以看出该样本比较接近吸引子子Xa，事实上只按异步方式调整了一步，样本，事实上只按异步方式调整了一步，样本X1即收敛于即收敛于Xa。令网络初态令网络初态X(0)=X2=(1,-1,-1,-1)。设神经元状态调整次序为。设神经元状态调整次序为123 4，有，有X(0)=(1,-1,-1,-1)X(1)=(-1,-1,-1,-1)=Xb，可以看出样本，可以看出样本X2比较接近比较接近吸引子吸引子Xb，按异步方式调整一步后，样本，按异步方式调整一步后，样本X2收敛于收敛于Xb。6.1 离散型离散型Hopf
150、ield神经网络神经网络(DHNN)6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子例例6.2 有一有一DHNN网，网，n=4，Tj=0，j=1,2,3,4，向量，向量Xa、Xb和权值矩阵和权值矩阵W分别为分别为 检验检验Xa和和Xb是否为网络的吸引子，并考察其是否具有联想记忆能力。是否为网络的吸引子，并考察其是否具有联想记忆能力。解（续）：解（续）： 考察联想记忆能力考察联想记忆能力 设有样本设有样本X1=(-1,1,1,1)、X2=(1,-1,-1,-1)、X3=(1,1,-1,-1)，试考察网络以，试考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。异步方式工作时两个吸引子对三
151、个样本的吸引能力。令网络初态令网络初态X(0)=X3=(1,1,-1,-1)，它与两个吸引子的海明距离相等。，它与两个吸引子的海明距离相等。若设神经元状态调整次序为若设神经元状态调整次序为1234，有，有X(0) = (1,1,-1,-1)X(1) = (-1, 1,-1,-1) X(2) = (-1,-1,-1,-1) = Xb。若将神经元状态调整次序改为若将神经元状态调整次序改为3412，则有，则有X(0) = (1,1,-1,-1) X(1) = (1,1,1,-1) X(2) = (1,1,1,1) = Xa。从本例可以看出，从本例可以看出，当网络的异步调整次序一定时当网络的异步调整次
152、序一定时, 最终稳定于哪个吸引最终稳定于哪个吸引子与其初态有关；子与其初态有关；对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。作业：作业：题题6.66.6(P.153)6.6 DHNN网络如图网络如图6.21所示，部分权值已标在图中。试求：所示，部分权值已标在图中。试求：（1）该网络的权值矩阵）该网络的权值矩阵W；（2）从初始状态开始按）从初始状态开始按1，2，顺序进行异步更新，给定初始状态为：顺序进行异步更新，给定初始状态为：（3）以上哪个状态是网络的吸引子？）以上哪个状态是网络的吸引子？（4）计算对应于吸引子的能
153、量值。）计算对应于吸引子的能量值。作业：作业：题题6.66.6(P.153)6.6 DHNN网络如图网络如图6.21所示，部分权值已标在图中。试求：所示，部分权值已标在图中。试求：（1）该网络的权值矩阵）该网络的权值矩阵W；（2）从初始状态开始按）从初始状态开始按1，2，顺序进行异步更新，给定初始状态为：顺序进行异步更新，给定初始状态为：（3）以上哪个状态是网络的吸引子？）以上哪个状态是网络的吸引子？（4）计算对应于吸引子的能量值。）计算对应于吸引子的能量值。【检验【检验X1和和X2是否是否为网络的吸引子。为网络的吸引子。】作业：作业：题题6.66.6(P.153)6.6 DHNN网络如图网络
154、如图6.21所示，部分权值已标在图中。试求：所示，部分权值已标在图中。试求：（1）该网络的权值矩阵）该网络的权值矩阵W；作业：作业：题题6.66.6(P.153)6.6 DHNN网络如图网络如图6.21所示，部分权值已标在图中。试求：所示，部分权值已标在图中。试求：（1）该网络的权值矩阵）该网络的权值矩阵W；（2） 检验检验X1和和X2是否为网络的吸引子。是否为网络的吸引子。因为：因为：所以所以X1不是不是网络网络的吸引子。的吸引子。作业：作业：题题6.66.6(P.153)6.6 DHNN网络如图网络如图6.21所示，部分权值已标在图中。试求：所示，部分权值已标在图中。试求：（1）该网络的权
155、值矩阵）该网络的权值矩阵W；（2） 检验检验X1和和X2是否为网络的吸引子。是否为网络的吸引子。因为：因为：所以所以X2是是网络的吸引子。网络的吸引子。考查日期：考查日期：考查时间：考查时间：考查地点：考查地点：答疑地点：答疑地点：答疑时间：答疑时间：第第14周周12月月01日日(星期五星期五)晚上晚上19:40至至21:40西一教西一教1-201室室西二教一楼教师休息室西二教一楼教师休息室第第14周周12月月01日日(星期四星期四) 9:3011:30附一：误差信号公式附一：误差信号公式附二：附二：权值调整权值调整公式公式附三：附三：函数函数f(x)=表表(例如：例如：x=0.3，f(x)=
156、0.57)x0.10.20.30.40.50.60.70.80.9f(x)0.525 0.550 0.574 0.599 0.622 0.646 0.668 0.690 0.711(要求：计算结果保留一位、保留三位小数点。要求：计算结果保留一位、保留三位小数点。)附一：附一：权向量调整权向量调整公式公式附二：附二：函数函数f(x)=表表（例如：（例如：x=0.85，f(x)=0.922）x x0.000.000.010.010.020.020.030.030.040.040.050.050.060.060.070.070.080.080.090.090.80.80.8940.9000.9060.9110.9170.9220.9270.9330.9380.9430.90.90.9490.9540.9590.9640.9700.9750.9800.9850.9900.995(要求：计算结果保留两位小数点。要求：计算结果保留两位小数点。)
