ch6神经网络在材料科学与工程中的应用

《ch6神经网络在材料科学与工程中的应用》由会员分享，可在线阅读，更多相关《ch6神经网络在材料科学与工程中的应用（41页珍藏版）》请在金锄头文库上搜索。

1、Ch6 神经网络在材料科学 与工程中的应用,6.1引言 6.2人工神经网络基础,6.1引言,人类对人工智能的研究可以分成两种方式对应着两种不同的技术： 传统的人工智能技术心理的角度模拟 基于人工神经网络的技术生理的角度模拟 1.1 人工神经网络的提出 1.2 人工神经网络的特点 1.3 历史回顾,引言1.1 人工神经网络的提出,人工神经网络（简记作ANN，Artificial Neural Networks），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,引言1.1 人工神经网络的提出,1.1.1

2、智能与人工智能 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。,引言1.1 人工神经网络的提出,智能可以包含8个方面 感知与认识客观事物、客观世界和自我的能力 感知是智能的基础最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。 理解知识，运用知识和经验分析、解决问题的能力 这一能力可以算作是智能的高级形式。是人类对世界进行改造，推动社会发展的基本能力。,引言1.1 人工神经网络的提出,联想、推理、判断、决策语言的能力 这是智能的高级形式的又一方面。 预

3、测和认识 “主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。 运用进行抽象、概括的能力 上述这5种能力，被认为是人类智能最基本的能力，表现为三种综合能力：发现、发明、创造、创新的能力；实时、迅速、合理地应付复杂环境的能力；预测、洞察事物发展、变化的能力。,引言1.1 人工神经网络的提出,人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派,引言1.1 人工神经网络的提出,1

4、.1.2 物理符号系统 一个物理系统表现智能行为的充要条件是它有一个物理符号系统,人脑的反映 形式化 现实 信息 数据 物理系统 物理符号系统 表现智能,引言1.1 人工神经网络的提出,1.1.3 联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练,引言1.1 人工神经网络的提出,1.1.4 两种模型的比较,引言1.1 人工神经网络的提出,物理符号系统和人工神经网络系统的差别,引言1.1 人工神经网络的提出,两种人工智能技术的比较,引言1.2人工神经

5、网络的特点,特点： 信息的分布表示 运算的全局并行和局部操作 处理的非线性 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,引言1.2人工神经网络的特点,关键点 1） 信息的分布表示 2）运算的全局并行与局部操作 3）处理的非线性特征 对大脑基本特征的模拟 1）形式上：神经元及其联接；BN对AN 2）表现特征：信息的存储与处理,引言1.2人工神经网络的特点,别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connec

6、tionism） 神经计算机（Neurocomputer）,引言1.2人工神经网络的特点,引言1.3 历史回顾,萌芽期（20世纪40年代） 最早可以追溯到人类开始研究自己的智能 第一高潮期（1950-1968） 代表作是单级感知器（Perceptron）；可用电子线路模拟， 反思期（1969-1982） 二十世纪70年代和80年代早期的研究结果,引言1.3 历史回顾,第二高潮期（1983-1990） 1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多

7、层网络的学习问题。（Paker1982和Werbos1974年） 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机理,引言1.3 历史回顾,再认识与应用研究期（1991- ） 问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题,6.2人工神经网络基础,6.2.1生物神经元模型 6.2.2人工神经元模型 6.2.3人工神经网络模型 6.2.4神经网络的学习方法,6.2.1生物神经元模型,人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连

8、接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。,6.2.1生物神经元模型,6.2.1生物神经元模型,从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性： 时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳,6.2.2人工神经元模型,人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元

9、结构。它是一个多输入、单输出的非线性元件。,6.2.2人工神经元模型,6.2.2人工神经元模型,其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权值； 为阈值； 称为激发函数或作用函数。,6.2.2人工神经元模型,输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b） 2. 饱和型函数（见图（c） 3. 双曲函数（见图（d） 4. S型函数（见（e） 5. 高斯函数（见图（f）,6.2.2人工神经

10、元模型,6.2.3人工神经网络模型,人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。,6.2.3人工神经网络模型,前馈型神经网络 前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。 从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；

11、,6.2.3人工神经网络模型,从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。,6.2.3人工神经网络模型,6.2.3人工神经网络模型,反馈型神经网络 反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。,6.2.3人工神经网络模型,反馈神经网络是一种反馈动力学系统

12、，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆（Content一Addressible Memory，CAM）的功能，如果将Lyapunov函数定义为寻优函数，Hopfie1d神经网络还可以用来解决快速寻优问题。,6.2.3人工神经网络模型,6.2.4神经网络的学习方法,神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习,6.2.4神经网络的学习方法,学习规则(learning rule)： Hebb学习规则 两个神经元同时处于激发状态时

13、，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。,6.2.4神经网络的学习方法,Delta（）学习规则 规则实现了E中的梯度下降，因此使误差函数达到最小值。但学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在规则基础上发展起来的，可在多网络上有效地学习。,6.2.4神经网络的学习方法,概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主

14、要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容易跳出能量的局部极小点而到全局的极小点；T越小时，情形正相反。概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。,6.2.4神经网络的学习方法,竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引人竟争机制的学习方式称为竟争式学习。本质在于神经网络中高层次神经元对低层次神经元的输入模式进行竞争识别。,Ch6 神经网络在材料科学 与工程中的应用,6.1引言 6.2人工神经网络基础,