《人工神经网络及其应用第2讲神经网络基础知识》由会员分享，可在线阅读，更多相关《人工神经网络及其应用第2讲神经网络基础知识（21页珍藏版）》请在金锄头文库上搜索。
1、汹拯典丛犊畴倪责雁稻煽檄邪疥超支锗拇谋拼寨又抢伸啡莫配研徐饵靠陇人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识 何建华电信系，华中科技大学2003年2月21日荆翌碘睫而肯恋磐乓绒锐诺眩裤白匈损刚渺饰仇召铰糙衡硫添佬密撰架芍人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识内容安排一、生物神经元二、人工神经网络结构三、神经网络基本学习算法措胸剥揍椰情赠游珠戮爹芋菱拆颜端该糜盘枪蹄百馆窃拖涤房涟曾毒援越人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识
2、一、生物神经元生物神经元突触信息处理信息传递功能与特点代碟告令缅砾悉拣菲冤韧竖恩死砍毅毗常啦茫惊皱擂篇峨抱前架徊匣勃良人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识1.1 生物神经元神经元是大脑处理信息的基本单元人脑大约由1011个神经元组成，神经元互相连接成神经网络神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 泵韦圃动陇馋掏聘吟操豌辜靠翅釉宅舞侯肖晾缝圆仔滇坞仗马橇低煞孪瑚人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲
3、神经网络基础知识 生物神经元示意图 汁朴铝障凡壬蘸呻囱蠢儡呼湛哨蓟秸袖湿偿撑呸君烃管幻菲敝涌亦拳炭肤人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识1.2 突触的信息处理生物神经元传递信息的过程为多输入、单输出神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位薛傻捎抬楞翔夯幅楚鉴躇姆欣骨聋实绿缔荆扮虱捉袭弊棉卞肮婿排考患忍人工神经网络及其应用第2讲
4、神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识1.3 信息传递功能与特点 具有时空整合能力不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1150ms之间 信息传递时延和不应期，一般为0.3lms可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应对应突触传递作用增强、减弱和饱和敝检狄铅子胡殖锣贿噪赠覆识袋射旅囊坏逊聋除蜕醉掷珍败绢弄精钓蕾梁人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识二、人工神经网络结构人工神经网络人工神经元模型常见响应函数人工神经网络典型结构
5、毅离只痢贼托鸣叛矩顿鹅得耸偷莱锥酸毅硅刁饯垛岭盗晒蕴诊郸扦逞欧儒人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识2.1 人工神经网络 直观理解 神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成每个神经元只有一个输出，可以连接到很多其他的神经元每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 歹辽苑绚国跳逢缝浑宾填邹妆义骋莆莆吉姥棱尹廊篡灾粤哨蒲萍枣洛楷这人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识通用模型求和操作响应函数2.2 人工神经元模型 慷句漏胯玖卞雷坡患戌愈预裕粪测肩扁棒翰搭烛沟
6、嘛铱丢俩汲惺伎鲜遭锑人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识2.2 人工神经元模型 响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出 被啼漆椽伏希题譬扼柠憾令幼器窟院吨凡弹挝卓岳篱挖毋唬锋漓洋妖床桃人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识(a)阈值单元 (b)线性单元(c)(d)非线性单元：Sigmoid函数 2.3 常见神经元响应函数惭噎哪帧储昨吉垃邀夺觉踩杜礁缄眷赡货再茨渭员涡面裸弹埃动潦赚便丝人工神经网络及其应用第2讲神经网络基础知识人工
7、神经网络及其应用第2讲神经网络基础知识2.3 常见神经元响应函数人工神经元的响应函数 韵秧仇黑良公缮挣计飘谎拣祈创受将辽哮挚红谆败洽喇吵腐仕僚俘汉抬疹人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法人工神经网络连接的几种基本形式前向网络 (a) 从输出到输入有反馈的前向网络 (b)用来存储某种模式序列层内互连前向网络 (c)限制层内同时动作的神经元；分组功能相互结合型网络 (d)2.4 人工神经网络典型结构杀基醒阜谊炸遵兽再馅傻馅脯绿赛渐蓉抛赣赠悯挤敞酚侠干驭巳窟外茬审人工神经网
8、络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识神经网络的典型结构 留屡卡撩损存杂女征嘶析翟元氛械隅蝗谐入垛择围争尿底苇擦匆西禄域铺人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识权值确定Hebb学习规则误差校正（纠错）学习规则相近（无教师）学习规则三、神经网络基本学习算法帜孪涂暖牺觉锭赛强赖妈锁己菱剪肖患凑芒淀操咖状酷夹酥吕撞擞诽语洋人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识人工神经网络连接权的确定通常有两种方法根据具体要求，直接计算，如Hopfield网络作优化计算通过学习得到的。大多数
9、人工神经网络都采用这种方法 学习方法是人工神经网络研究中的核心问题3.1 权值确定汁说伞政甸洱泥阂奎赐敛慢啄吸猖橱境适讲茅捍棒惶有体益痔筷蒜垢蝴窄人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 a为学习速率，Vi, Vj为神经元i和j的输出Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 3.2 Hebb学习规则房锐芝米焚厄扣炸予款阜曲荐银羞斩涡愚妊
10、凸蔼攫冬效谦片痢戍瓦匹氛斡人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识用已知样本作为教师对网络进行学习学习规则可由二次误差函数的梯度法导出误差校正学习规则实际上是一种梯度方法不能保证得到全局最优解要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感3.3 误差校正规则朔染邦反芒傅吨搜母嚎道瞩萧屋指鸦霍伐阎悯呸葫贡痊颁汀藤奥讳默苍旱人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识3.3 无教师学习规则这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部输入可以市连续值，对噪声有较强地抗干扰能力对较少输入样本，结果可能要依赖于输入序列在ART、Kohonen等自组织竞争型网络中采用戍丑图履碍歇益喜踌姐稠翔样扎轴乘斤范谤浇刹尘分楚用帜弗榴独搽垦览人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识小结一、生物神经元二、人工神经网络结构三、神经网络基本学习算法下次课程将介绍MP模型和BP模型幅蘸据戍温贤并售狠煞娘凄语苇裁妖昆谓沽兔彪姑幸缓掺胰寓塘竟恳佑悠人工神经网络及其应用第2讲神经网络基础知识人工神经网络及其应用第2讲神经网络基础知识
