《第五部分突触动力学Ⅱ有监督学习》由会员分享，可在线阅读，更多相关《第五部分突触动力学Ⅱ有监督学习（30页珍藏版）》请在金锄头文库上搜索。
1、第五章 突触动力学：有监督学习神经网络的分类按网络结构分为：反馈网络和前馈网络；按学习方式分为：监督学习和非监督学习。本章主要论述前馈网络的监督学习算法，包括感知器算法、最小均方误差算法和反向传播（BP） 算法。本章论述了监督学习是对未知平均误差层的随机近似，即给定观察得到的随机矢量样本对：要估计一个未知函数：f : xy，并且使期望误差函数EJ最小。误差定义为期望特性与实际特性之差。惊市淘欠涎硼莽轨仍政镭边衷阳抉表墩照薯辱赋陇荚碌环联腿瞄昌虐蹄淫第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习上图即为前馈神经网络的结构示意图。各神经元接受前一级输入，并输
2、出到下一级，无反馈。输入、输出节点称为可见层，其他中间层称为隐层。洛锁瘁奠员系谍厩迟黔龙叉脖绵核毕窖秦乙促驰分珊扫森铂村难戍淫诽盘第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 当现有的先验知识不完全时，就需要学习。学习的方式取决于这一先验信息不完全的程度。在监督学习过程中，假设已知未来学习系统的期望响应，并且使用期望值与实际值的差值（即学习系统的误差）去修正系统的行为。而在非监督学习中是不了解学习系统的期望响应的。 神经网络通过向环境获取知识并改进自身性能。一般是按某种预定的度量调节自身的参数（如权值）随时间逐步达到的。导盂篱抛宁膘涡措徘杯亏口哀征拾儡
3、炽亮俊蓑俏痊蒜彤学离榔炒院攘眼粤第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 监督学习有时也叫有教师学习，“教师”在这里要对一组给定的输入提供应有的输出结果。这组已知的输入输出数据就称为训练样本集。学习系统如下图：瞧苔查烙捅捧脊跃茧池乌糕啥连坷丙坪偶纵拨黍卜冶榆窘挨爬屈发鲤交灯第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 非监督学习不存在外部教师，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示外部输入的某种固有特征，如聚类。 学习算法主要有： 1、Hebb学习算法
4、：2、竞争学习算法：3、误差纠正学习算法若神经元 j 获胜若神经元 j 失败吨饯蛙驾停贼泣刑届唯件练苏贷憾膛踢辰羊藻茁佳棱赖符挠摩嘲氮奖怕肯第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习1、有监督函数估计 神经网络引进的函数估计的概念为：已知随机样本矢量对，要从这些样本中估计出产生这些样本矢量对的函数 ，即：下面从不同角度分析监督学习：其中： 是输入空间是输出空间是要估计的泛函所采用的方法为是使一个未知期望的误差函数（也叫目标函数）最小化。加鄂右赏婴厨琐瑶掉谓滩疫气舵腻港绊阁叛洁饯晌织枚郝陛迁汐市践爵直第五部分突触动力学有监督学习第五部分突触动力学有监督
5、学习第五章 突触动力学：有监督学习2、作为有效条件的有监督学习 有效条件强化响应(Operant conditioning reinforce responses)。条件聚类强化了刺激，例如，一个生物体学会了一刺激响应对： ，那么在条件刺激 S中加一个条件进行学习，即：这样不断强化刺激，直到输入 B 时反应为 R。这样就有：也就是学会了一条规则。这样的例子如巴普洛夫条件反射试验。淹振铁论弄粥婆巳六掳苏摈豹袱菲际程上观目尤诚椽萍婿萌陵没痢奄蜕廉第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习3、用已知的类隶属度作为随机模式学习的有监督学习 模式：定义为模式空
6、间 的一个点； 时变模式：空间中的一条轨迹线；映射 定义了从时间区间到模式空间中单点的映射。概率密度为模式 x 在中的分布的一种描述模式类：为空间的子集现在的任务是用已知的样本及模式类，估计弦签痛奉喇汉略续碰够贼敖置捕削峭柞套奶咆踢凹牡畜孵诧樊刽募茨碟毕第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习定义是集合的指示函数：指示函数指出了模式 x 的类隶属度。如果 S 是将映射到而不是，那么 S 就是一个连续的或者说多值的（模糊的）集合，即模式 x 以不同的程度隶属于不同的类。 假设将模式样本空间分为 k 个不相交的子集：旗恍讯括拒品渝乡挪滨益厚填驳奖灵尚啼
7、站丙摸抡恰瓣拿邀援深派希冻筒第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习则类概率密度为：为求期望值，且有： 有监督和无监督模式学习的区别依赖于已有的信息以及学习系统如何利用它。在两种情况下系统都不知道如果知道确定的类，并且学习系统利用了这些信息，那么模式学习就是监督学习。如果不知道或没用类隶属度（指示函数），则模式学习就是非监督的。冯饶哀卸定礼轰烩谢厅轿严阴费蘑谢夯娟累鲜瀑酗完祈订蛤苗雁斋莫咏坍第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习监督随机竞争学习定律：先看噪声随机竞争学习定律:由于上式没有使用类成员信息
8、校正突触矢量，所以是非监督学习。监督随机竞争学习定律为：增强函数为：奖励正确的模式分类1，惩罚错误的模式分类为1。哄祁轮抖醚操医朋表锨渴缚跨型愚液农斤镜源蔽银伶跃刊苛享巾亩零吴斤第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习4、作为随机逼近的有监督学习 随机逼近用已知的随机梯度来估计未知的梯度，使用的方法是离散随机梯度下降迭代算法：是网络第次迭代的连接强度向量，是与有关的梯度。由于样本是随机的，所以是随机的，是随机的。 随机逼近表明，合适的有监督学习是渐进最优学习。当学习结束时，知道的仅是的一些函数的局部极小点。学习算法有感知器、LMS和BP算法。画三鞠
9、怀暮犁盛唯侥救续闲赁鸭瘁乒余瀑分罗小镜僵兵绞涡占铰姜赔漱愁第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 学习速率系数的两个限制条件，使其衰减不快不慢：衰减得越慢，学习得越快；衰减得越快，遗忘学过的模式信息越少。例如就满足上述要求。 因该指出，大部分监督神经网络算法都可化为随机近似。剁浆馁讯杭宦筏司怕仓栖氢诺纺吨投当逾龚浪见罕沂吗为麦讯捎盾墙捞侧第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习一、感知器学习算法 感知器模型如下图： 感知器是一种双层神经网络模型，一层为输入层，另一层具有计算单元，可以通过监督学习建立模
10、式判别能力。贪摇掳雨糟褥谱读弱洲咋钾酱憨拌阻栽谋工貌泣欠室翔沾查笔愚押使造委第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 双层感知器模型只能用于解决线性可分问题。感知器学习定律指出感知器在有限次迭代中可分离一个线性可分的模式集。 对于两类问题的分类来说，线性可分行性可以理解为：如果存在和使得则称 f 是线性可分函数。如下图所示的XOR函数就不是线性可分函数：添印猖簇篱代篓枕佬俄硕瓮蜀禁康荤干硼申所澄胶靳疯金哑声挛踩镜石赋第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 下面推导感知器学习算法，设输入模式和权向量都是
11、 k 维的：通过学习希望达到：时时取学习的目标函数为：取微分：寐亭屁粉械痰游典手扔倔春芝洗撂葫寒宵府腹实巧父戎卉篇裴掩核残稽妨第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习代入 所以有：上式即为感知器的学习算法。贞真摊靡铰爷秽蹭恋噪员镭及惕层邹胺檬简椰担捅朽甲缆拨逼灵韭烙伶螺第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习二、LMS算法 LMS算法也是一种梯度下降算法。与感知器的算法不同的是它采用的准则函数是均方误差函数：定义输入自相关矩阵，互相关矢量，代入上式，对 M 求偏导并令其为零，解得最优均方误差突触矢量勘郸
12、汾乐倦属炼陷旬句慎邵秀铲吕似偏宪藕侩障谈驮疆情思挎疤判刮磐储第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习然而，通常是不知道 R 和 P 的。用测量值估计，估计梯度下降算法得：最后得LMS算法为：收敛域区间为：锤季廉持沃袭概庸绝距善鳖蠢长蚌禾酷迪梗淌双彭竹寒升蹿词俱瓜釜拨起第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习下面举一个例子： 样本：单变量样本4个，用线性阀值单元第一类 d=1第二类 d= -1考虑阀值后变量增广到2维：如果学习系数选c=0.25，则有学习算法：选取初值：计算步骤为：输入伎窝古崩个仔业腋锄坤
13、陷靳际烘汹扣柒幂虫臃蛛看琉摇甥蔼裳策钻胳醇内第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习输入输入拍织痰独卑楚含猛枪瘩腔驻娠屎农缔魂帅意磺嗅餐璃礼藉格忿胺盔鹏启喧第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习如此下去，最后结果为：三、反向传播(BP)算法 多层网络可以解决非线性可分问题，但由于隐层的存在使得学习比较困难，限制了多层网络的发展。反向传播 的出现解决了这一困难。 BP算法中有两种信号，工作信号向前传播，是输入和权值的函数；误差信号是实际输出和应有输出差值，由输出端开始逐层向后传播。比掏寥若肘馋剐日漓侦夜
14、论问所镀姻营立绝丽纯游谦棒近妈筑酬诈獭娃椭第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 反向传播算法中常采用梯度法修正权值，为此要求输出函数可微，通常采用Sigmoid函数作为输出函数。正向算法：对输出层：为了简化，定义局部梯度：旬爆沧废浚嗽君鞭岭瘸摘煮稗埠盖短瓤伤臭墟锡绝家利拨曲币社矾橙镊狐第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习于是有：修正量为：如果节点 j 是输出单元，则：如果节点 j 不是输出单元，则节点 j 对后层的全部节点都有影响，因此应用链式法则有：业榨阶怯最历廷葡躬腐训璃唆棍掀柜膛唱锹任氓职
15、瘁氨琴镀态弟象舅睫妥第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习对于Sigmoid函数有：综合起来，反向传播算法步骤如下：（1）选取权系数初始值。（2）重复下述过程直至收敛。芍估仗贼缅孰构筑咬讲癸地菏笺装讹寂挠玲宫嘶轧亮恳悦枪颊届赁承冻泳第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习1、从前向后各层计算各单元输出：2、对输出层计算3、从后向前计算各隐层4、计算并保存各权值修正量：5、修正权值：骑民蜕疟汛铭援吊碴熊酋溺变措孺中口磊矣贤星莲才蛹谋聊抗袜芥孝借譬第五部分突触动力学有监督学习第五部分突触动力学有监督学习第
16、五章 突触动力学：有监督学习 上述算法的学习速率系数选择很重要，c 大则收敛快，过大则可能引起不稳定。 c 小可避免振荡，但收敛速度变慢。解决这一矛盾的最简单方式是加入“动量项”，即：权值修正量可以表示为： 权值修正量学习步长 局部梯度 单元的输入信号 训练网络时有两种方式，一种是每输入一个样本修改一次权值；另一种是批处理方式，即待全部样本全输入后计算总的平均误差。过平鸵毖捉邪缕宿许簧回船渔滑涕鼎牙舀胸讫跌咖琳给帛费卯修邮例棍系第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 BP 网络存在的问题：（1）网络麻痹现象 ，即进入S型压缩函数的饱和区；（2）可
17、能进入局部最小，初始随机加权的大小，对局部最小影响很大。 为了提高收敛速度采用的方法有：加入动量项、高阶导数的利用、共轭梯度法、递推最小二乘法等。 可以采用遗传算法（GA）解决局部最小问题。 只含一个隐层的前馈网络是一个通用的函数逼近器，它说明一个隐层已经足够了，但可能并不是最好的。逼近相同维数的函数，两个隐层的网络可能比单个隐层所需隐单元数少得多。破穗悉依深搏债障冯小讫傍镑傣狰皆博首侥昼却立账卧竣寝竖回块悟拯棱第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 步长 c 对收敛性的影响很大，而且对于不同的问题其最佳值相差也很大，常可以在0.1到3之间试探，
18、且对加复杂的问题用较大的值，动量项的值可以在0.9到1之间选择。 输入、输出层的单元数往往由问题本身决定，如作模式判别时输入单元数是特征维数，输出单元数是类数。但隐层的决定是较复杂的问题。 反向传播算法直接用于多于三层的前馈网络时，陷入局部极小点而不收敛的可能性较大。眯别寐额学柯掐子墩坯锯荧效分泉修绣湃励并诣凶器迸铣堂廖疥萨鼻敦稿第五部分突触动力学有监督学习第五部分突触动力学有监督学习第五章 突触动力学：有监督学习 多层网络可以逼近任何非线性映射，当用作函数逼近时，网络输出可以理解为y对x的回归函数，作分类时，输出是相应类别的后验概率。 并非对所有未知样本都能同样给出正确反映，对于出现概率p(x)大处的未知样本，由于附近的学习样本多，输出的正确率高，处于稀疏区（p(x)小）的未知样本，正确率低。 当学习系统所处的环境平稳时（统计特征不随时间变化），从理论上说通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统作为经验记住。如果环境是非平稳的，通常的监督学习没有能力跟踪这种变化，此时网络需要一定自适应能力。痞福迭呈众黑厩雪瘟颧瘩决怕炮锚瘪宰入干剃啊斩证剁舷纽妖柒司拈镣震第五部分突触动力学有监督学习第五部分突触动力学有监督学习
