《人工神经网络模型课件》由会员分享，可在线阅读，更多相关《人工神经网络模型课件（47页珍藏版）》请在金锄头文库上搜索。
1、第一讲 从生物神经网络到人工神经网络,From Biological Neural Network To Artificial Neural Network,Whats this?,大脑Brain,重量: 约12001500g 体积: 约600Cm3 神经元数: 约1011个,大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。,虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。,早在1943年，
2、心理学家W. McCulloch和数学家W. Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），标志着神经网络研究的开端。,半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识与应用研究期五个阶段。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前沿交叉学科。,生物神经元,树突：从细胞体延伸出象树枝一样向四处分散开来的的许多突起，称之为树突，其作用是感受其它神经元的传递信号，相当于信息的输入通道。,轴突：神经元从细胞体伸出一根粗细均匀、表面光滑的突起，长度从几个m到1m左右
3、，称为轴突，它的功能是传出从细胞体来的神经信息，相当于信息的输出通道。,神经末梢与突触：轴突末端有许多细的分枝，称之为神经末梢，每一条神经末梢可以与其它神经元连接，其连接的末端称之为突触。其功能是将轴突传出来的信息传给其它神经细胞，相当于信息的输入/输出接口。,神经细胞单元的信息：宽度和幅度都相同的脉冲串 。,兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。,生物神经元的信息传递与处理,膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称之为膜
4、电位。,膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。,突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.31.0ms。,生物神经元的信息传递与处理示意图,甲：这样便宜就有水用了？！,乙：想得美，交了钱别人才放水的！,生物神经元的基本特征,神经元具有感知外界信息或其它神经元信息的输入端,神经元具有向外界或其它神经元输出信息的输出端,神经元之间的连接强度（连接权）决定信号传递的强弱，而且联接强度是可以随训
5、练改变的,信号可以是起刺激作用的，也可以是起抑制作用的，即连接权的值（权值）可正、可负,每个神经元有一个阈值,神经元可以对接受的信号进行累积（加权）,神经元的兴奋程度（输出值的大小），取决于其传输函数及其输入（输入信号的加权与阈值之和）,人工神经元的一般模型,甲：讲了半天，人工神经元就是一个公式！太简单了吧？,乙：还是听听再说,Whats this？,Its a plane.,Wait. I dont know!,Dont ask me,神经网络的特点,信息的分布式存储及其与信息处理的合二为一,信息的并行协同处理,具有学习能力以及自组织、自学习性，善于联想、综合和推广,问题：,即便是Penti
6、um-II微处理器，其时钟频率也高于200MHz。相反地，一个神经元的脉冲发放率典型值仅仅在100Hz的范围内。计算机要快上百万倍！但为何大脑能够瞬间完成对飞机图像的识别，计算机反而对此的反应却如此迟钝呢？,为什么100天的小孩没有成人一样的识别能力呢？,人工神经网络的一般结构,简单公式中的复杂问题,人工神经网络的分布式存储是如何实现的？,信息分布存储在众多神经元的权值和阈值中。,神经元的权值和阈值是如何确定的？,人工神经网络的学习与训练。,神经元的传输函数代表什么含义？它对神经元和神经网络有什么影响？,传输函数表示了神经元对输入信号加权的响应。不同的传输函数，代表不同的神经元模型，进而影响神
7、经网络的结构。,人工神经网络（ANN Artificial Neural Networks）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。,未来的脑科学将加强与行为科学、认知科学和信息科学的联系。脑科学与信息科学及技术的结合将引起以脑为中心的科技革命 智能革命!,ANN定义,从生物神经网络到人工神经网络的探索，虽然经历了半个多世纪的里程，但探究大脑思维计算之间的关系还刚刚开始，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长。,第二讲 人工神经网络模型应用与仿真,Applications & Simulation of Artificia
8、l Neural Network Models,人工神经网络的应用领域极其广泛，比较擅长的应用领域包括：,人工神经网络的应用,模式识别 人工智能 控制工程 优化计算和联想记忆 信号处理,甲：神经网络真那么神奇吗？,乙：我听说,在人工神经网络的发展过程中，从不同的角度对生物神经系统不同层次的描述和模拟，提出了各种各样的神经网络模型，其中具有代表性的网络模型有：,人工神经网络的模型,感知器 线性神经网络 BP网络 径向基函数网络 自组织网络 反馈网络,关于神经网络的实现技术,神经网络的实现技术可以分为全硬件实现和虚拟实现两个方面。,全硬件实现研究的核心是神经器件的构造，其主要研究方向有： 电子神经
9、芯片的研究 光学神经芯片的研究 分子/生物神经芯片的研究,虚拟实现主要分为以下几类： 传统计算机上的软件仿真 神经计算的多机并行实现 神经网络加速器,神经网络的软件仿真系统,基于传统计算机的软件仿真系统，通用性强，为用户研究和设计神经网络提供了很好的开发平台，因而被迅速推广。,最有代表性的神经计算商用软件有： RCS：1987年，Rochester 大学研制 P3：1986年，Ziper & Rabin 研制 MIRRORS：1988年， Maryland 大学研制 Neural Networks：1989年，Neural Ware公司 GKD：1990年，国防科技大学研制,MATLAB及其工
10、具箱,MATLAB 是 Math Works 公司于1982年推出的一套高性能的数值计算的可视化软件，意为“矩阵实验室”（MATrix LABoratory）。其强大的扩展功能为各个领域的应用提供了基础，由各领域的专家学者相继推出了各种MATLAB工具箱。目前主要的工具箱包括： Communications Toolbox Control System Toolbox Filter Design Toolbox Fuzzy Logic Toolbox Image Processing Toolbox,MATLAB及其工具箱,目前主要的工具箱（续）： Instrument Control Too
11、lbox Mapping Toolbox Model-Based Calibration Toolbox Predictive Control Toolbox Neural Network Toolbox Optimization Toolbox Differential Equation Toolbox Signal Processing Toolbox System Identification Virtual Reality Toolbox Wavelet Toolbox,MATLAB Neural Network Toolbox,Neural Network Toolbox4.0.2包
12、含了170多种工具箱函数，另外还提供了神经网络动态仿真环境SIMULINK，允许用户自定义神经网络和自定义网络函数。,在MATLAB神经网络仿真程序的设计中，主要用到以下几个方面的NN Toolbox函数：,神经网络的创建/设计函数 初始化函数 训练/学习函数 网络仿真函数,感知器模型,感知器神经元模型,单层感知器神经网络模型,感知器神经网络特点,阈值型传输函数,单层网络,只适于解决线性可分问题,甲：什么是感知器？,乙：我在网上看见,感知器神经网络的学习,训练：权值和阈值的调整过程被称为“训练”。,学习：神经网络在训练的过程中，便学到了把输入空间影射到输出空间的能力，称之为神经网络的“学习”，
13、调整权值和阈值的算法称之为学习规则或训练算法。,感知器的学习规则,感知器的学习是一种有教师学习方式，其学习规则称之为规则。若以 t 表示目标输出，a 表示实际输出，则,网络训练的目的，就是要使 t a。 当e=0时，得到最优的网络权值和阈值； 当e0时，说明得到的实际输出小于目标输出，应增加网络权值和阈值； 当e0时，说明得到的实际输出大于目标输出，应减小网络权值和阈值。,感知器的学习规则,从规则中可以看出，感知器神经网络的训练，需要提供训练样本集，每个样本由神经网络的输入向量和目标向量对构成，n个训练样本构成的训练样本集为：,每一步学习过程，感知器神经元的权值阈值进行调整的算法可表示为：,感
14、知器的MATLAB仿真,单层感知器的MATLAB仿真主要步骤：,以newp创建感知器神经网络 以train训练所创建的网络 以sim对训练后的网络进行仿真,单层感知器应用实例,设计一单层单输出感知器神经网络，进行二值化图像卡片上数字0-9的奇偶分类。,感知器的MATLAB仿真,问题分析 从数字1和0的二值化图像卡片可以看出，每一个图像卡片可以分成43的矩形方块，假设每个小方块有数字的笔画划过（即在小方块内二值图像元素的值至少有一个不为0），则记为1，否则记为0，那么图像卡片上所有小方块表达了有0、1二值组成的一个模式（或向量），可以作为感知器神经网络的输入向量。 如果我们设计的感知器神经网络使
15、得网络的输出在图像卡片上的数字为奇数时输出为0，偶数时输出为1，则可以完成其奇偶分类。,感知器的MATLAB仿真,设计感知器神经网络,根据以上分析，按本题要求设计的感知器神经网络的基本结构为： 网络有1个输入向量，包括12个元素，对应图像卡片上12个小方块的值，输入元素的取值范围为0 1； 训练样本集必须包括 0-9 图像卡片样本； 为单层、单神经元感知器神经网络； 输出是一个二值向量0或1，它的两种不同取值分别表示分类结果的奇偶情况，所以，神经元的传输函数可以取为hardlim函数。,感知器的MATLAB仿真,设计的感知器神经网络结构,感知器神经网络的MATLAB程序实现,神经网络的创建与训
16、练,神经网络的仿真,线性神经网络,线性神经元模型,线性神经网络模型,线性神经网络特点,与感知器一样，只适于解决线性可分问题，但比感知器的抗噪能力强。,具有较广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。,一般为单层，也可为多层网络（MADALINE）,线性神经网络的学习,线性神经网络采用均方误差最小的学习规则，即LMS（Least Mean Squares）算法，来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。,对Q个训练样本构成的训练样本集为：,LMS算法的基本思想是找到合适的权值和阈值，使下列均方误差最小：,线性神经网络的学习规则,每一步学习过程，线性神经元的权值阈值进行调整的算法可表示为：,式中，是决定权值和阈值的收敛速度和稳定性参数，称之为学习速率，学习率越大，学习的速度越快，但过大的学习率会使修正过度，造成不稳定，反而使误差更大。在MATLAB神经网络工具箱中，可以通过 maxlinlr 函数确定最大的学习率。,线性神经网络的MATLAB仿真,线性神经网络的应用实例,以自适应线性网络实现噪
