《神经网络基础知识精选参考课件》由会员分享，可在线阅读，更多相关《神经网络基础知识精选参考课件（46页珍藏版）》请在金锄头文库上搜索。
1、1,第二章 神经网络基础知识,2. 1 人工神经网络的生物基础 2. 2 人工神经元模型 2. 3 人工神经网络模型 2 .4 神经网络学习,2,2. 1 人工神经网络的生物基础 神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。 2.1.1 生物神经元结构 每个神经元都包括四个部分：细胞体(cell body)、树突(dendrite)和轴突(axon)和突触(synapse)。 每个神经元大约有1000100000个突触。若干神经元以突触相连构成神经网络。,3,(a) 简单神经元网络图 c) 简化后的网络示意图
2、 图2. 1 简单神经元网络及其简化结构图,b) 突触结构图,4,2.1.2 生物神经元的信息处理机理,一、信息的产生,研究认为，神经元间信息的产生、传递和处理是一种电化学活动。由膜内外离子浓度决定。,神经元状态： 静息 兴奋 抑制,膜电位： 极 化polarization 去极化depolarization 超极化hypeypolarization,5,膜电位变化图,6,神经元对信息的传递与接收通过突触进行。,二 信息的传递与接收,神经 电脉冲,神经 质产生,神经 质释放,结合 过程,电生理 反应,突触信息传递过程,7,三、信息的整合,空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于
3、各单独刺激引起的膜电位变化的代数和。,时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。,四、生物神经网络,以确定方式和拓扑结构互连而成，完成信息采集、存储、综合处理等功能。 人类社会关系亦如此。,8,2. 2 人工神经元模型 2. 2. 1 神经元的建模 最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：,(1) 每个神经元都是一个多输入单输出的信息处理单元；,(2) 神经元输入分兴奋性输入和抑制性输入两种类型；,(6) 神经元本身是非时变的，即其突触时延和突触强度 均为常数。,(3) 神经元具有空间整合特性和
4、阈值特性；,(4) 神经元输入与输出间有固定的时滞, 主要取决于突触 延搁；,(5) 忽略时间整合作用和不应期；,(a)表明人工神经元有许多输入信息，一个输出信息； (b)表示突触强度和性质不同，导致作用不同，即权重不同； (c)表明信号整合； (d)总和超过阈值时，神经元被激活。,10,2.2.2 神经元的数学模型,令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：,ij 输入输出间的突触时延； Tj 神经元j的阈值； wij 神经元i到 j 的突触连接系数或称 权重值； f ()神经元转移函数。,(2.
5、1),11,若取突触时延为单位时间，则,式(2.2)全面表达了神经元模型的6点假设。 令：,(2. 2),(2.3),上式是神经元j在t时刻的净输入，体现了神经元j的空间整合特性，但未考虑时间整合。,12,利用矩阵表示如下：,netj=WjTX,其中： Wj=(w1,w2,wn)T X=(x1,x2,xn)T,(2.4),(2.5),oj=f(netj)=f (WjTX),(2.6),令 x0=-1，w0=Tj 则有 -Tj = x0w0,13,2.2.3神经元的转移函数,主要区别为转移函数，常用的有四种： (1)阈值型转移函数,1 x0 f(x)= (2.7) 0 x0,M-P模型属于此类。
6、,单极性阈值函数 双极性阈值函数,14,(2)非线性转移函数,单极性S型函数 双极性S型函数,15,(3)分段线性转移函数,0 x0 f(x)= cx 0 xxc (2.9) 1 xc x,16,(4)概率型转移函数,温度参数,玻尔兹曼热力学模型,17,人工神经元信息处理单元,18,人工神经元信息处理单元,信息输入,19,人工神经元信息处理单元,信息传播与处理：加权求和,20,人工神经元信息处理单元,信息传播,21,人工神经元信息处理单元,信息传播与处理：非线性,22,人工神经元信息处理单元,信息输出,转换函数是神经网络特征的第一大要素。,23,单纯层次型结构,2.3 人工神经网络模型,两种分
7、类方法：拓扑结构、信息流向 2.3.1网络拓扑结构类型 1、层次型结构：3种,24,输出层到输入层有连接,25,层内有连接层次型结构,26,2、互连型结构,全互连型结构,27,局部互连型网络结构,还有一种稀疏连接型,28,2.3.2网络信息流向类型：2种,前馈型网络,29,拓扑结构是神经网络特征的第二大要素,反馈型网络,30,2.4 神经网络学习,神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。,31,神经网络的学习类型：,有导师学习(有监督学习),无导师学习(无监督、自组织
8、),死记式学习(灌输式),32,日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图：,通用学习规则：权向量Wj在t时刻的调整量Wj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：,33,2.4.1 Hebb学习规则,学习信号：,权调整公式：,权分量调整公式：,要求：使用小的随机数初始化权值 特点：前馈、无导师学习,34,例2.1 设有4个输入和1个输出的神经网络，阈值T=0，学习率=1，三个样本为：X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,初始权：W(0)=(1,-1,0,0.5)T。利用
9、Hebb学习法计算权值。,解：设转换函数为符号函数f(x)=sgn(net) (1),(2),(3),35,2.4.2 Perceptron学习规则,学习信号：,权调整公式：,权分量调整公式：,由于采用符号函数，符合期望时不调整，否则，权值特征公式为： 要求：只适应二进制神经元 特点：有导师学习,36,2.4.3 学习规则,学习信号：,权调整公式：,权分量调整公式：,要求：转换函数连续可导 特点：多层前馈，有导师学习,37,例2.2 设有4个输入1个输出的神经网络，阈值内含，学习率=0.1，三个样本为：X1=(-1,1,-2,0)T，X2=(-1,0,1.5,-0.5)T,X3=(-1,-1,
10、1,0.5)T,初始权：W(0)=(0.5,1,-1,0)T，期望输出： d1=-1，d2=-1，d3=1。利用学习法计算权值。,解：设转换函数为： (1),38,(2),39,(3),40,2.4.4 LMS学习规则(最小均方),学习信号：,权调整公式：,权分量调整公式：,LMS是学习规则的特例 特点：有导师学习,41,2.4.5 Correlation（相关）学习规则,学习信号：,权调整公式：,权分量调整公式：,要求：权值初始化为 0 特点：有导师学习,42,2.4.6 Winner-Take-All学习规则,学习信号：,权调整公式：,权分量调整公式：,要求：权值归一化 特点：胜者为王、无导师学习,43,2.4.4 Outstar学习规则,权调整公式：,权分量调整公式：,要求：转换函数连续 特点：有导师学习,44,45,本章完,46,
