《人工神经网络及其应用第2讲神经网络基础知识讲课资料》由会员分享,可在线阅读,更多相关《人工神经网络及其应用第2讲神经网络基础知识讲课资料(21页珍藏版)》请在金锄头文库上搜索。
1、人工神经网络及其应用第2讲神经网络基础知识,何建华 电信系,华中科技大学 2003年2月21日,内容安排 一、生物神经元 二、人工神经网络结构 三、神经网络基本学习算法,一、生物神经元,生物神经元 突触信息处理 信息传递功能与特点,1.1 生物神经元,神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成,神经元互相连接成神经网络 神经元以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触(Synapse,又称神经键)组成,1.2 突触的信息处理,生物神经元传递信息的过程为多输入、单输出 神经元各组成部分的功能来看,
2、信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质 突触有两种类型,兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位,1.3 信息传递功能与特点,具有时空整合能力 不可逆性,脉冲只从突触前传到突触后,不逆向传递 神经纤维传导的速度,即脉冲沿神经纤维传递的速度,在1150ms之间 信息传递时延和不应期,一般为0.3lms 可塑性,突触传递信息的强度是可变的,即具有学习功能 存在学习、遗忘或疲劳(饱和)效应 对应突触传递作用增强、减弱和饱和,二、人工神经网络结构,人工神经网络
3、 人工神经元模型 常见响应函数 人工神经网络典型结构,2.1 人工神经网络,直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出,可以连接到很多其他的神经元 每个神经元输入有多个连接通道,每个连接通道对应于一个连接权系数,通用模型 求和操作 响应函数,2.2 人工神经元模型,2.2 人工神经元模型,响应函数的基本作用 控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出,(a)阈值单元 (b)线性单元 (c)(d)非线性单元:Sigmoid函数,2.3 常见神经元响应函数,2.3 常见神经元响应函数
4、,人工神经元的响应函数,神经元的模型确定之后,一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法 人工神经网络连接的几种基本形式 前向网络 (a) 从输出到输入有反馈的前向网络 (b) 用来存储某种模式序列 层内互连前向网络 (c) 限制层内同时动作的神经元;分组功能 相互结合型网络 (d),2.4 人工神经网络典型结构,神经网络的典型结构,权值确定 Hebb学习规则 误差校正(纠错)学习规则 相近(无教师)学习规则,三、神经网络基本学习算法,人工神经网络连接权的确定通常有两种方法 根据具体要求,直接计算,如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方
5、法 学习方法是人工神经网络研究中的核心问题,3.1 权值确定,Donall Hebb根据生理学中条件反射机理,于1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活),则它们之间的突触连接加强 a为学习速率,Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规则,几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形,3.2 Hebb学习规则,用已知样本作为教师对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本,收敛速度慢 对样本地表示次序变化比较敏感,3.3 误差校正规则,3.3 无教师学习规则,这类学习不在于寻找一个特殊映射的表示,而是将事件空间分类为输入活动区域,并有选择地对这些区域响应,从而调整参数一反映观察事件的分部 输入可以市连续值,对噪声有较强地抗干扰能力 对较少输入样本,结果可能要依赖于输入序列 在ART、Kohonen等自组织竞争型网络中采用,小结 一、生物神经元 二、人工神经网络结构 三、神经网络基本学习算法 下次课程将介绍MP模型和BP模型,