人工神经网络课件_1

《人工神经网络课件_1》由会员分享，可在线阅读，更多相关《人工神经网络课件_1（353页珍藏版）》请在金锄头文库上搜索。

1、2018/10/6,1,人工神经网络 Artificial Neural Networks,2018/10/6,2,蒋宗礼 软件学科部 联系电话：67392508 Email： 办公地点：信息北楼214,2018/10/6,3,教材,书名：人工神经网络导论 出版社：高等教育出版社 出版日期：2001年8月 定价：12.4元 作者：蒋宗礼,2018/10/6,4,主要参考书目,1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989 2、胡守仁、余少波、戴葵，神经网络导论，国防科

2、技大学出版社，1993年10月 3、杨行峻、郑君里，人工神经网络，高等教育出版社，1992年9月 4、闻新、周露、王丹力、熊晓英，MATLAB神经网络应用设计，科学出版社，2001.5.,2018/10/6,5,课程目的和基本要求,作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。 介绍人工神经网络及其基本网络模型，使学生 了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题 掌握软件实现方法。,2018/10/6,6,课程目的和基本要求,了解人工神经网络的有关研究思想，从中学习开

3、拓者们的部分问题求解方法。 通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。 查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。,2018/10/6,7,主要内容,智能及其实现 ANN基础 Perceptron BP CPN 统计方法 Hopfield网与BAM ART,2018/10/6,8,主要内容,第一章：引论智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。,2018/10/6,9,主要内容,第二章 人工神经网络基础本章在

4、介绍了基本神经元后，将概要介绍人工神经网络的一般特性。主要包括，生物神经网络模型，人工神经元模型与典型的激励函数；人工神经网络的基本拓扑特性，存储类型（CAMLTM，AMSTM）及映象，Supervised训练与Unsupervised训练。,2018/10/6,10,主要内容,第三章 感知器感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引入多层网；Hebb学习律，Delta规则，感知器的训练算法。 实验：实现一个感知器。,2018/10/6,11,主要内容,第四章 向后传播 BP（Backpropagation）网络的构成及其训练过

5、程；隐藏层权调整方法的直观分析，BP训练算法中使用的Delta规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；BP网络中的几个重要问题。 实验：实现BP算法。,2018/10/6,12,主要内容,第五章 对传网 生物神经系统与异构网的引入；对传网的网络结构，Kohonen层与Grossberg层的正常运行，对传网的输入向量的预处理，Kohonen层的训练算法及其权矩阵的初始化方法；Grossberg层的训练；完整的对传网。 实验：实现基本的对传网。,2018/10/6,13,主要内容,第六章 统计方法 统计方法是为了解决局部极小点问题而引入的，统计网络的基本训练算法，模拟退火算法与收

6、敛分析，Cauchy训练，人工热处理与临界温度在训练中的使用，BP算法与Cauchy训练相结合。 实验：实现模拟退火算法。,2018/10/6,14,主要内容,第七章 循环网络 循环网络的组织，稳定性分析；相联存储；统计Hopfield网与Boltzmann机；Hopfield网用于解决TSP问题。 BAM(Bidirectional Associative Memory)用于实现双联存储；基本双联存储网络的结构及训练；其他的几种相联存储网络。 实验：实现一个Hopfield网。,2018/10/6,15,主要内容,第八章 自适应共振理论 人脑的稳定性与可塑性问题；ART模型的总体结构与分块描

7、述；比较层与识别层之间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。,2018/10/6,16,第1章 引言,主要内容： 智能与人工智能； ANN的特点； 历史回顾与展望 重点： 智能的本质； ANN是一个非线性大规模并行处理系统 难点：对智能的刻画,2018/10/6,17,第1章 引言,1.1 人工神经网络的提出 1.2 人工神经网络的特点 1.3 历史回顾,2018/10/6,18,第1章 引言,人类对人工智能的研究可以分成两种方式对应着两种不同的技术： 传统的人工智能技术心理的角度模拟 基于人工神经网络的技术生理的角度模拟,2018/10/6,19,1.1 人工神经

8、网络的提出,人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,2018/10/6,20,1.1 人工神经网络的提出,1.1.1 智能与人工智能 一、 智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。,2018/10/6,21,1.1 人工神经网络的提出,智能可以包含8个方面 感知与认识客观事物、客观世界和自我

9、的能力 感知是智能的基础最基本的能力 通过学习取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。 理解知识，运用知识和经验分析、解决问题的能力 这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。,2018/10/6,22,1.1 人工神经网络的提出,联想、推理、判断、决策语言的能力 这是智能的高级形式的又一方面。 预测和认识 “主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。 运用进行抽象、概括的能力 上述这5种能力，被认为是人类智能最为基本的能力,2018/10/6,23,1.1 人工神经网络的提出,作为5种能力综

10、合表现形式的3种能力 发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能力 预测、洞察事物发展、变化的能力,2018/10/6,24,1.1 人工神经网络的提出,二、人工智能 人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己 三大学术流派 符号主义（或叫做符号/逻辑主义）学派 联接主义（或者叫做PDP）学派 进化主义（或者叫做行动/响应）学派,2018/10/6,25,1.1 人工神经网络的提出,1.1.2 物理符号系统,人脑的反映 形式化现实 信息 数据物理系统 物理符号系统表现智能,201

11、8/10/6,26,1.1 人工神经网络的提出,Newell和Simon假说 ：一个物理系统表现智能行为的充要条件是它有一个物理符号系统 概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统,2018/10/6,27,1.1 人工神经网络的提出,困难： 抽象舍弃一些特性，同时保留一些特性 形式化处理用物理符号及相应规则表达物理系统的存在和运行。 局限： 对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。,2018/10/6,28,1.1 人工神经网络的提出,1.1.3 联接主义观点 核心：智能的本质是

12、联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练,2018/10/6,29,1.1 人工神经网络的提出,1.1.4 两种模型的比较心理过程 逻辑思维 高级形式（思维的表象）生理过程 形象思维 低级形式（思维的根本） 仿生 人工神经网络,联结主义观点,物理符号系统,2018/10/6,30,1.1 人工神经网络的提出,物理符号系统和人工神经网络系统的差别,2018/10/6,31,1.1 人工神经网络的提出,两种人工智能技术的比较,2018/10/6,32,1.2 人工神经网络的特

13、点,信息的分布表示 运算的全局并行和局部操作 处理的非线性,2018/10/6,33,1.2.1 人工神经网络的概念,1、定义 1）HechtNielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,2018/10/6,34,1.2.1 人工神经网络的概念,（1）HechtNi

14、elsen（1988年）（续） 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,2018/10/6,35,1.2.1 人工神经网络的概念,强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作,2018/10/6,36,1.2.1 人工神经网络的概念,（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）； 2） 处理单元的

15、激活状态（ai）； 3） 每个处理单元的输出函数（fi）； 4） 处理单元之间的联接模式； 5） 传递规则（wijoi）； 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 7） 通过经验修改联接强度的学习规则； 8） 系统运行的环境（样本集合）。,2018/10/6,37,1.2.1 人工神经网络的概念,（3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,2018/10/6,38,1.2.1 人工神经网络的概念,2、关键点 （1） 信息的分布表示 （2） 运算的全

16、局并行与局部操作 （3） 处理的非线性特征 3、对大脑基本特征的模拟 1） 形式上：神经元及其联接；BN对AN 2） 表现特征：信息的存储与处理,2018/10/6,39,1.2.1 人工神经网络的概念,4、别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer）,2018/10/6,40,1.2.2 学习（Learning）能力,人工神经网络可以根据所在的环境去改变它的行为 自相联的网络 异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。 不同的人工神经网络模型，有不同的学习/训练算法,