人工智能导论

《人工智能导论》由会员分享，可在线阅读，更多相关《人工智能导论（24页珍藏版）》请在金锄头文库上搜索。

1、河南工业大学河南工业大学人人 工工 智智 能能 导导 论论班班 级：级： 自动化自动化 09010901 班班 姓姓 名：名： 张继文张继文 学学 号：号： 200948280103200948280103 完成日期：完成日期： 20122012 年年 6 6 月月 4 4 日日 一、一、BPBP 神经网络的简要介绍神经网络的简要介绍一、一、BP 神经网络的提出；神经网络的提出；在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问 题的有效算法。直到误差反向传播算法（BP 算法）的提出，成功地解决了求解 非线性连续函数的多层前馈神经网络权重调整问题。 BP 网络是 1986 年

2、由 Rumelhart 和 McCelland 为首的科学家小组提出， 是一种按误差逆传播算法训练的多层 前馈网络，是目前应用最广泛的神经 网络模型之一。BP 网络能学习和存贮 大量的输入-输出模式映射关系，而 无需事前揭示描述这种映射关系的数 学方程。它的学习规则是使用最速下 降法，通过反向传播来不断调整网络 的权值和阈值，使网络的误差平方和 最小。BP 神经网络模型拓扑结构包括 输入层（input） 、隐层(hide layer)和输出层(output layer)。 （如图 5.2）2 2、BPBP 神经网络的基本算法；神经网络的基本算法；BP (Back Propagation)神经网

3、络，即误差反传误差反向传播算法的学习过程， 由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收 来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层， 负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐 层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成 一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输 出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯 度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向 传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习

4、训 练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预 先设定的学习次数为止。具体步骤如下； 1、从训练集中取出某一样本，把信息输入网络中。 2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。 3、计算网络实际输出与期望输出的误差。 4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值 上，使整个神经网络的连接权值向误差减小的方向转化。 5、対训练集中每一个输入输出样本对重复以上步骤，直到整个训练样本集的 误差减小到符合要求为止。 BP 神经网络模型 BP 网络模型包括其输入输出模型、作用函数模型、误差 计算模型和自学习模型。 （1）节点输出

5、模型 隐节点输出模型：Oj=f(WijXi-qj) (1) 输出节点输出模型：Yk=f(TjkOj-qk) (2) f-非线形作用函数；q -神经单元阈值。 （2）作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般 取为(0,1)内连续取值 Sigmoid 函数： f(x)=1/(1+e) （3） （3）误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2(tpi-Opi) (4) tpi- i 节点的期望输出值；Opi-i 节点计算输 出值。 （4）自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵

6、Wij 的设定 和误差修正过程。BP 网络有师学习方式-需要设定期望值和无师学习方式-只需 输入模式之分。自学习模型为 Wij(n+1)= h iOj+aWij(n) （5） h -学习因子；i-输出节点 i 的计算误差；Oj-输出节点 j 的计算输出；a-动 量因子。三、三、BPBP 神经网络的优缺点；神经网络的优缺点；1 1、BPBP 神经网络的优点：神经网络的优点：1) 非线性映射能力：BP 神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即 BP 神经网络具有较强的非线性映射能力

7、。2) 自学习和自适应能力：BP 神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则” ，并自适应的将学习内容记忆于网络的权值中。即BP 神经网络具有高度自学习和自适应的能力。3) 泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进行正确的分类。也即 BP 神经网络具有将学习成果应用于新知识的能力。4) 容错能力：BP 神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。即 BP 神经网络具有

8、一定的容错能力。2 2、BPBP 神经网络的缺点；神经网络的缺点；虽然 BP 网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。1) 局部极小化问题：从数学角度看，传统的 BP 神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上 BP 神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。2) BP 神经网络算法的收敛速度慢：由于 BP 神经网络算法本

9、质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得 BP 算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0 或 1 的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；BP 神经网络模型中，为了使网络执行 BP 算法，不能使用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法也会引起算法低效。以上种种，导致了 BP 神经网络算法收敛速度慢的现象。3) BP 神经网络结构选择不一：BP 神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。网络结构选择过大，训练中效率不

10、高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。4) 应用实例与网络规模的矛盾问题：BP 神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。5) BP 神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随着训练能力地提高，预测能力会得到提高。但这种趋势不是固定的，其有一个极限

11、，当达到此极限时，随着训练能力的提高，预测能力反而会下降，也即出现所谓“过拟合”现象。出现该现象的原因是网络学习了过多的样本细节导致，学习出的模型已不能反映样本内含的规律，所以如何把握好学习的度，解决网络预测能力和训练能力间矛盾问题也是 BP 神经网络的重要研究内容。6） BP 神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。二、支持向量机的应用二、支持向量机的应用 一、支持向量机介绍一、支持向量机介绍 支持向量机是由 Vapnik 领导的 AT ;语言的分析和理解过程是一个层次化的过程。现代语 言学家把这一过

12、程分为3个层次：词法分析、句法分析和语义分析。如果接收到 的是语音流，那么在上述3个层次之前还应当加入一个语音分析层。虽然这种层 次之间并非是完全隔离的，但是这种层次化的划分的确有助于更好地体现语言 本身的构成。 1 1、语音分析、语音分析语音分析则是根据音位规则，从语音流中区分出一个个独立的音素，再根 据音位形态规则找出一个个音节及其对应的词素或词。 2 2、词法分析、词法分析词法分析的主要目的是找出词汇的各个词素，从中获得语言学信息。 3 3、句法分析、句法分析句法分析是对句子和短语的结构进行分析。自动句法分析的方法很多，有 短语结构语法、格语法、扩充转移网络、功能语法等等。句法分析的最大

13、单位 就是一个句子。分析的目的就是找出词、短语等的相互关系以及各自在句子中 的作用等，并以一种层次结构来加以表达。 4 4、语义分析、语义分析 语义分析就是通过分析找出词义、结构意义及其结合意义，从而确定语言 所表达的真正含义或概念。在语言自动理解中，语义愈来愈成为一个重要的研 究内容。随着计算机技术和人工智能总体技术的发展，自然语言理解不断取得进展。 机器翻译是自然语言理解最早的研究领域。由于早期研究中理论和技术的局限， 所开发的机译系统的技术水平较低，不能满足实际应用的要求。到了70年代初 期，对语言理解对话系统的研究取得进展。伍兹(Woods)的 LUNAR 系统、威诺甘 德(Winog

14、and)的 SHRDLU 系统和香克(Schank)的 MARGIE 系统等是语言理解对话 系统的典型实例。进入80年代之后，自然语言理解的应用研究广泛开展，机器 学习研究又十分活跃，并出现了许多具有较高水平的实用化系统。这些系统是 自然语言理解研究的重要成果，表明自然语言理解在理论上和应用上取得了突 破性进展。自然语言是表示知识最为直接的方法。因此，自然语言理解的研究也为专 家系统的知识获取提供了新的途径。此外，自然语言理解的研究已促进计算机 辅助语言教学(CALI)和计算机语言设计(CLD)等的发展。 自然语言理解是一门新兴的边缘学科，内容涉及语言学、心理学、逻辑学、 声学、数学和计算机科

15、学，而以语言学为基础。自然语言理解的研究，综合应 用了现代语音学、音系学语法学、语义学、语用学的知识，同时也向现代语言 学提出了一系列的问题和要求。本学科需要解决的中心问题是：语言究竟是怎 样组织起来传输信息的？人又是怎样从一连串的语言符号中获取信息的？ 这一领域的研究将涉及自然语言，即人们日常使用的语言，包括中文、英文、 俄文、日文、德文、法文等等，所以它与语言学的研究有着密切的联系，但又 有重要的区别。自然语言处理 并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统 ，特别是其中的软件系统。因而它是计算机 科学的一部分。十、人工智能有哪些学派，它们各自的认知观是什么人工智能有哪些学派，它们各自的认知观是什么任何新生事物的成长都不是一帆风顺的,人工智能也不例外。从人工智能孕 育于人类社会的母胎时，就引起人们的争议。自1956年问世以来，人工智能也 是在比较艰难的环境中顽强地拚搏与成长的。一方面，社会上对人工智能的科 学性有所怀疑，或者对人工智能的发展产生恐惧。在一些国家(如前苏联)，甚 至曾把人工智能视为反科学的异端邪说。在我国那“史无前例“的年代里，也有 人把人工智能作为迷信来批判，以致连“人工智能“这个名词也不敢公开提及。 另一方面，科学界内部对人工智能也表示怀疑。真正的科学与任何其它真理一样，是