神经网络理论及应用

《神经网络理论及应用》由会员分享，可在线阅读，更多相关《神经网络理论及应用（48页珍藏版）》请在金锄头文库上搜索。

1、神经网络理论及应用哈尔滨理工大学 朱建良神经网络是起始于二十世纪四十年代，发展于二十世纪八十年代，应用于二十世纪九十年代的一个研究领域。它是模拟人脑的思维、结构和智能的一门新兴学科。神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的进展。美国加州大学伯克莱分校前校长田长霖教授于2000年7月，在接受东南大学授予他名誉教授的仪式上，发表了一篇激情洋溢的演讲，他提到了美国二十一世纪的三个科研主攻方向为：信息科学、生物科学、纳米科学。由此

2、可见神经网络所具有的理论价值、现实意义及其发展前景。 在这门课程中，由于学时所限，我们仅介绍神经网络的基本模型、BP算法、Hopfield神经网络、细胞神经网络等基础内容。 1 课程时数：40学时 2 考试方式：考查（考试） 3 授课方法：讲授与自学及查阅文献相合 4 参考文献： （1）宿延吉等，神经网络理论及应用。东北林业大学出版社，1993 （2）王永骥等，神经元网络控制。机械工业出版社，1998 （3）吴简彤等，神经网络技术及其应用。哈尔滨工程大学出版社，1998 （4）焦李成，神经网络的应用与实现。西安电子科技大学出版社，1996第一章 绪 论11 生物神经元模型1 神经元的结构 人的

3、大脑大约由个神经元组成，而其中每个神经元又与约个神经元相连接，从而构成了一个庞大而又复杂的神经网络系统。 神经元是大脑处理信息的基本单元，它的结构如图11所示。 它以细胞体为主，有许多向周围延伸的不规则树支状纤维构成的神经细胞，其形状很像一根枯树。主要有细胞体、树突、轴突和突触组成。细胞体不仅是神经元新陈代谢的中心，还是接受与处理信息的部件。树突是细胞体向外延伸的树枝状纤维体，是神经元的输入通道，接受来自其他神经元的信息。轴突是细胞体向外延伸的最长、最粗的一条树支纤维体，是神经元的输出通道。一个神经元的神经末梢与另一个神经元的树突或细胞体的接触处称为突触，是神经元之间传递信息的输入输出接口。每

4、个神经元约有个突触。2 神经元的功能 神经元作为控制和信息处理的基本单元，有下述功能：（1）时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同一时间通过不同突触传入的神经冲动，具有空间整合功能；两种功能相互结合，具有时空整合的输入信息处理功能。（2）兴奋与抑制状态：神经元具有两种常规工作状态：兴奋当传入冲动的时空整合结果，使细胞膜电位升高，超过动作电位的阀值（约为40mV）时，细胞进入兴奋状态，产生神经冲动，由轴突输出；抑制当传入冲动的时空整合结果，使得细胞膜电位下降至低于动作电位阀值时，细胞进入抑制状态，无神经冲动输出。满足“01”律。（3）具有脉冲与电位转

5、换：突触界面具有脉冲/电位转换功能。沿神经纤维传导的电脉冲为等幅（约60100 mV）、恒宽、编码的离散脉冲信号，而细胞膜电位的变化为连续的电位信号。在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的变换过程。（4）神经纤维传导速度：神经冲动沿神经纤维传导速度在1150m/s之间。它随纤维的粗细、髓鞘的有无而不同。有髓鞘的粗纤维，其传导速度在100m/s以上；无髓鞘的细纤维传导速度可低于每秒数米。（5）突触延时和不应期：突触对神经冲动的传递具有延时一般为0.31ms。在两个相邻冲动之间需要一个时间间隔，即为不应期，约35 ms。在此期间，对激励不响应，不能传递神经冲动。（6）

6、学习、遗忘和疲劳：由于结构的可塑性，即突触传递信息的强度是可变的，有增强、减弱和饱和，所以细胞具有相应的学习功能、遗忘或疲劳效应（饱和效应）。3 人脑神经网络系统 生物神经网络是由许多神经元相互连接而成的。其连接形式主要有：（1）幅散式；（2）聚合式；（3）连锁式；（4）环式；如图12所示。4人脑神经网络信息处理的特点（1）分布存储与冗余性 信息在神经网络中是分布存储于大量的神经元之中的；一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性

7、导致网络的存储具有容错性。（2）并行处理 这里并行处理的含义不同于目前的并行处理机，它不是简单的“以空间的复杂性来换取时间的快速性”，而是反映了不同的操作机理。神经网络既是处理器，又是存储器。信息处理与存储合一。（3）可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的。即由遗传所决定的，但大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随环境激励性质的不同而不同。能形成和改变神经元之间的突触连接的现象称为可塑性。由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经网络的自组织性。（4）鲁棒性 网络的高连接度意味着一定的误差和噪声不

8、会使网络的性能恶化，即网络具有鲁棒性。大脑神经网络的鲁棒性对于智能演化可能是一个十分重要的因素。 12 生物神经网络的模型化人工神经网络1 人工神经元模型神经元是神经网络的基本处理单元，一般是一多输入/单输出的非线性器件，其结构模型如图13所示。其中，为输入信号；为神经元到的连接权系数，是模拟突触传递强度的一个比例系数；表示突触后信号的空间累加；表示神经元的阀值；表示神经元的响应函数。该模型的数学表达式为： （1） （2）根据响应函数的不同，人工神经元有以下几种类型： （1）阀值单元 如图14a所示 （13） （2）线性单元 如图14b所示 （14）（3）非线性单元 常用响应函数为S型（Sig

9、moid）函数，如图14c所示 （15）或 （16）上述模型能反映生物神经元的基本特性，但还有如下不同之处：生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。模型只有空间累加而没有时间累加。模型未考虑时延、不应期和疲劳。虽然现代技术可以建立更为精确的模型，但一般神经网络研究无此必要。2 人工神经网络模型根据人工神经网络对生物神经系统的不同组织层次和抽象层次的模拟，神经网络模型可分为：（1）神经元层次模型：研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息有选择的响应和某些基本存储功能的机理，如Adaline（自适应线性元件）；（2）组合式模型：它由数种相互补充、

10、相互协作的神经元组成，用于完成某些特定的任务，如模式识别、机器人控制等。（3）网络层次模型：它由许多相同神经元相互连接成的网络，从整体上研究网络的集体特性，如HNN模型。（4）神经系统层次模型：一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质，如自动识别、概念形成、全局稳定控制等。（5）智能型模型：这是最为抽象的层次，多以语言形式模拟人脑信息处理的运行、过程、算法、和策略。这些模型试图模拟如感知、思维、问题求解等基本过程。目前已有近40种神经网络模型，其中具有代表性的有：自适应共振理论（ART）：包括ART1和ART2，可以对任意复杂二维模式进行自组织、自稳定和大规模并行

11、处理。前者用于二进制输入，后者用于连续信号输入。主要用于模式识别（雷达、声纳的信号识别）。缺点是对转换、失真及规模变化较敏感。雪崩网络：主要用于学习、识别和重演时空的网络。如连续语言识别和教学机器人。缺点是调试较为困难。双向联想记忆（BAM）：由相同神经元构成的双向联想单层网络，具有学习功能。缺点是存储度低且需要编码。BP：它是多层映射网络，采用最小均方差的学习方式，是使用最广泛的网络，可用于语言综合、语言识别、自适应控制等，缺点是仅为有导师学习。Blotzman机/Cauchy机（BCM）：这是使用一个噪声过程来取代代价函数的全局极小值的网络，主要用于模式识别；缺点是训练时间长，且有噪音。盒

12、中脑（BSB）模型：这是具有最小均方差的单层自联想网络，可用于从数据库中提取知识，缺点是仅为单步决策。Counter Propagation（CPNN）：这是一种在功能上作为最优化概率密度函数分析的网络，用于图像分析和统计分析，缺点是需大量的处理单元和连接高度准确。Hopfield神经网络：它是由相同元件构成的单层的且不带学习功能的自联想网络；缺点是连接需要对称和没有学习功能。Madaline：这是具有最小方差学习功能的线性网络，它的学习功能较强，是Adaline的扩展，主要用于自适应控制，缺点是I/O仅为线性关系。学习矩阵（LRN）：它是一单层单向非递归AM网络。神经认知机：它是一多层结构化

13、识别网络，缺点是需大量的处理单元和连接。感知机：这是一组可训练的线性分类单层网络，目前以很少使用。自组织映射（SOM）：描述某种最优映射，缺点是需要高度训练。细胞神经网络（CNN）：单层连续神经网络，主要用于模式识别。文字识别与噪声控制等。交替投影神经网络（APNN）：应用凸集投影的概念，在向量空间中建立模型可用于模式识别。3 神经网络的信息处理能力神经网络的信息处理能力包括：（1）网络的存储能力，即在一个有个神经元的神经网络中，可存储多少个位的信息？（2）网络的计算能力，即神经网络能够有效地计算哪些问题？4 人工神经网络的结构 大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个

14、神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大功能。（1）前向网络（2）有反馈的前向网络（3）层内互连的前向网络（4）互连网络如图15所示。5 人工神经网络的学习规则神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合，甚至可以说，学习方法是人工神经网络研究中的核心问题。 由于网络的结构和功能不同，学习方法也是多种多样的。下面介绍一些基本的通用的学习规则。 （1）Hebb学习规则 它是由Donall Hebb根据生理学中的条件反射机理，于1949年提出的关于神经元连接强度变化的规则。其内容为：如果两个神经元同时兴奋（即同时被激活），则它们之间的突触连接加强。用表示神经元的输出（激活值），表示两个神经元之间的连接权，Hebb学习规则可以表示为