《人工神经网络tt(2020年整理).ppt》由会员分享，可在线阅读，更多相关《人工神经网络tt(2020年整理).ppt（353页珍藏版）》请在金锄头文库上搜索。
1、2020 5 23 1 人工神经网络ArtificialNeuralNetworks 2020 5 23 2 蒋宗礼软件学科部联系电话 67392508Email jiangzl 办公地点 信息北楼214 2020 5 23 3 教材 书名 人工神经网络导论 出版社 高等教育出版社出版日期 2001年8月定价 12 4元作者 蒋宗礼 2020 5 23 4 主要参考书目 1 PhilipD Wasserman NeuralComputing TheoryandPractice VanNostrandReinhold 19892 胡守仁 余少波 戴葵 神经网络导论 国防科技大学出版社 1993年
2、10月3 杨行峻 郑君里 人工神经网络 高等教育出版社 1992年9月4 闻新 周露 王丹力 熊晓英 MATLAB神经网络应用设计 科学出版社 2001 5 2020 5 23 5 课程目的和基本要求 作为人工神经网络的入门课程 用于将学生引入人工神经网络及其应用的研究领域 介绍人工神经网络及其基本网络模型 使学生了解智能系统描述的基本模型掌握人工神经网络的基本概念 单层网 多层网 循环网等各种基本网络模型的结构 特点 典型训练算法 运行方式 典型问题掌握软件实现方法 2020 5 23 6 课程目的和基本要求 了解人工神经网络的有关研究思想 从中学习开拓者们的部分问题求解方法 通过实验进一步
3、体会有关模型的用法和性能 获取一些初步的经验 查阅适当的参考文献 将所学的知识与自己未来研究课题 包括研究生论文阶段的研究课题 相结合起来 达到既丰富学习内容 又有一定的研究和应用的目的 2020 5 23 7 主要内容 智能及其实现ANN基础PerceptronBPCPN统计方法Hopfield网与BAMART 2020 5 23 8 主要内容 第一章 引论智能的概念 智能系统的特点及其描述基本模型 物理符号系统与连接主义的观点及其比较 人工神经网络的特点 发展历史 2020 5 23 9 主要内容 第二章人工神经网络基础本章在介绍了基本神经元后 将概要介绍人工神经网络的一般特性 主要包括
4、生物神经网络模型 人工神经元模型与典型的激励函数 人工神经网络的基本拓扑特性 存储类型 CAM LTM AM STM 及映象 Supervised训练与Unsupervised训练 2020 5 23 10 主要内容 第三章感知器感知器与人工神经网络的早期发展 单层网能解决线性可分问题 而无法解决线形不可分问题 要想解决这一问题 必须引入多层网 Hebb学习律 Delta规则 感知器的训练算法 实验 实现一个感知器 2020 5 23 11 主要内容 第四章向后传播BP Backpropagation 网络的构成及其训练过程 隐藏层权调整方法的直观分析 BP训练算法中使用的Delta规则 最速
5、下降法 的理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 实验 实现BP算法 2020 5 23 12 主要内容 第五章对传网生物神经系统与异构网的引入 对传网的网络结构 Kohonen层与Grossberg层的正常运行 对传网的输入向量的预处理 Kohonen层的训练算法及其权矩阵的初始化方法 Grossberg层的训练 完整的对传网 实验 实现基本的对传网 2020 5 23 13 主要内容 第六章统计方法统计方法是为了解决局部极小点问题而引入的 统计网络的基本训练算法 模拟退火算法与收敛分析 Cauchy训练 人工热处理与临界温度在训练中的使用 BP算法与Cauchy训练
6、相结合 实验 实现模拟退火算法 2020 5 23 14 主要内容 第七章循环网络循环网络的组织 稳定性分析 相联存储 统计Hopfield网与Boltzmann机 Hopfield网用于解决TSP问题 BAM BidirectionalAssociativeMemory 用于实现双联存储 基本双联存储网络的结构及训练 其他的几种相联存储网络 实验 实现一个Hopfield网 2020 5 23 15 主要内容 第八章自适应共振理论人脑的稳定性与可塑性问题 ART模型的总体结构与分块描述 比较层与识别层之间的两个联接矩阵的初始化 识别过程与比较过程 查找的实现 训练讨论 2020 5 23 1
7、6 第1章引言 主要内容 智能与人工智能 ANN的特点 历史回顾与展望重点 智能的本质 ANN是一个非线性大规模并行处理系统难点 对智能的刻画 2020 5 23 17 第1章引言 1 1人工神经网络的提出1 2人工神经网络的特点1 3历史回顾 2020 5 23 18 第1章引言 人类对人工智能的研究可以分成两种方式对应着两种不同的技术 传统的人工智能技术 心理的角度模拟基于人工神经网络的技术 生理的角度模拟 2020 5 23 19 1 1人工神经网络的提出 人工神经网络 ArtificialNeuralNetworks 简记作ANN 是对人类大脑系统的一阶特性的一种描述 简单地讲 它是一
8、个数学模型 可以用电子线路来实现 也可以用计算机程序来模拟 是人工智能研究的一种方法 2020 5 23 20 1 1人工神经网络的提出 1 1 1智能与人工智能一 智能的含义智能是个体有目的的行为 合理的思维 以及有效的 适应环境的综合能力 智能是个体认识客观事物和运用知识解决问题的能力 人类个体的智能是一种综合能力 2020 5 23 21 1 1人工神经网络的提出 智能可以包含8个方面感知与认识客观事物 客观世界和自我的能力感知是智能的基础 最基本的能力通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力 理解知识 运用知识和经验分析 解决问题的能力这一能力可以算作是
9、智能的高级形式 是人类对世界进行适当的改造 推动社会不断发展的基本能力 2020 5 23 22 1 1人工神经网络的提出 联想 推理 判断 决策语言的能力这是智能的高级形式的又一方面 预测和认识 主动 和 被动 之分 联想 推理 判断 决策的能力是 主动 的基础 运用进行抽象 概括的能力上述这5种能力 被认为是人类智能最为基本的能力 2020 5 23 23 1 1人工神经网络的提出 作为5种能力综合表现形式的3种能力发现 发明 创造 创新的能力实时 迅速 合理地应付复杂环境的能力预测 洞察事物发展 变化的能力 2020 5 23 24 1 1人工神经网络的提出 二 人工智能人工智能 研究如
10、何使类似计算机这样的设备去模拟人类的这些能力 研究人工智能的目的增加人类探索世界 推动社会前进的能力进一步认识自己三大学术流派符号主义 或叫做符号 逻辑主义 学派联接主义 或者叫做PDP 学派进化主义 或者叫做行动 响应 学派 2020 5 23 25 1 1人工神经网络的提出 1 1 2物理符号系统 人脑的反映形式化现实信息数据物理系统物理符号系统表现智能 2020 5 23 26 1 1人工神经网络的提出 Newell和Simon假说 一个物理系统表现智能行为的充要条件是它有一个物理符号系统概念 物理符号系统需要有一组称为符号的实体组成 它们都是物理模型 可以在另一类称为符号结构的实体中作
11、为成分出现 以构成更高级别的系统 2020 5 23 27 1 1人工神经网络的提出 困难 抽象 舍弃一些特性 同时保留一些特性形式化处理 用物理符号及相应规则表达物理系统的存在和运行 局限 对全局性判断 模糊信息处理 多粒度的视觉信息处理等是非常困难的 2020 5 23 28 1 1人工神经网络的提出 1 1 3联接主义观点核心 智能的本质是联接机制 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统ANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练 2020 5 23 29 1 1人工神经网络的提出 1 1 4两种模型的比较心理过程逻辑思维高级形
12、式 思维的表象 生理过程形象思维低级形式 思维的根本 仿生人工神经网络 联结主义观点 物理符号系统 2020 5 23 30 1 1人工神经网络的提出 物理符号系统和人工神经网络系统的差别 2020 5 23 31 1 1人工神经网络的提出 两种人工智能技术的比较 2020 5 23 32 1 2人工神经网络的特点 信息的分布表示运算的全局并行和局部操作处理的非线性 2020 5 23 33 1 2 1人工神经网络的概念 1 定义1 Hecht Nielsen 1988年 人工神经网络是一个并行 分布处理结构 它由处理单元及其称为联接的无向讯号通道互连而成 这些处理单元 PE Processi
13、ngElement 具有局部内存 并可以完成局部操作 每个处理单元有一个单一的输出联接 这个输出可以根据需要被分枝成希望个数的许多并行联接 且这些并行联接都输出相同的信号 即相应处理单元的信号 信号的大小不因分支的多少而变化 2020 5 23 34 1 2 1人工神经网络的概念 1 Hecht Nielsen 1988年 续 处理单元的输出信号可以是任何需要的数学模型 每个处理单元中进行的操作必须是完全局部的 也就是说 它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值 2020 5 23 35 1 2 1人工神经网络的概念 强调 并行 分布处理结构
14、 一个处理单元的输出可以被任意分枝 且大小不变 输出信号可以是任意的数学模型 处理单元完全的局部操作 2020 5 23 36 1 2 1人工神经网络的概念 2 Rumellhart McClelland Hinton的PDP1 一组处理单元 PE或AN 2 处理单元的激活状态 ai 3 每个处理单元的输出函数 fi 4 处理单元之间的联接模式 5 传递规则 wijoi 6 把处理单元的输入及当前状态结合起来产生激活值的激活规则 Fi 7 通过经验修改联接强度的学习规则 8 系统运行的环境 样本集合 2020 5 23 37 1 2 1人工神经网络的概念 3 Simpson 1987年 人工神
15、经网络是一个非线性的有向图 图中含有可以通过改变权大小来存放模式的加权边 并且可以从不完整的或未知的输入找到模式 2020 5 23 38 1 2 1人工神经网络的概念 2 关键点 1 信息的分布表示 2 运算的全局并行与局部操作 3 处理的非线性特征3 对大脑基本特征的模拟1 形式上 神经元及其联接 BN对AN2 表现特征 信息的存储与处理 2020 5 23 39 1 2 1人工神经网络的概念 4 别名人工神经系统 ANS 神经网络 NN 自适应系统 AdaptiveSystems 自适应网 AdaptiveNetworks 联接模型 Connectionism 神经计算机 Neuroco
16、mputer 2020 5 23 40 1 2 2学习 Learning 能力 人工神经网络可以根据所在的环境去改变它的行为自相联的网络异相联的网络 它在接受样本集合A时 可以抽取集合A中输入数据与输出数据之间的映射关系 抽象 功能 不同的人工神经网络模型 有不同的学习 训练算法 2020 5 23 41 1 2 3基本特征的自动提取 由于其运算的不精确性 表现成 去噪音 容残缺 的能力 利用这种不精确性 比较自然地实现模式的自动分类 普化 Generalization 能力与抽象能力 2020 5 23 42 1 2 4信息的分布存放 信息的分布存提供容错功能由于信息被分布存放在几乎整个网络中 所以 当其中的某一个点或者某几个点被破坏时 信息仍然可以被存取 系统在受到局部损伤时还可以正常工作 并不是说可以任意地对完成学习的网络进行修改 也正是由于信息的分布存放 对一类网来说 当它完成学习后 如果再让它学习新的东西 这时就会破坏原来已学会的东西 2020 5 23 43 1 2 5适应性 Applicability 问题 擅长两个方面 对大量的数据进行分类 并且只有较少的几种情况 必须
