《第五章突触动力学Ⅱ有监督学习》由会员分享，可在线阅读，更多相关《第五章突触动力学Ⅱ有监督学习（14页珍藏版）》请在金锄头文库上搜索。
1、第五章 突触动力学：有监督学习王衡目录v1有监督的函数估计v2有监督的学习相当于操作性条件反射v3有监督的学习相当于有先验知识的随机模式学习v4算法，感知器，LMS，BP1.有监督的函数估计v给定观察得到的随机矢量样本对： 要估计一个未知函数：f : xy，并且使期望误差函数EJ最小。误差=期望输出-实际输出1.有监督的函数估计v设N为一个神经网络的传递函数，那么可以定义瞬时误差为 ，这是一个随机向量，因为我们不知道联合概率密度函数p(x,y)，所以，无法求出， 一般用 。随机逼近用观测到的随机量来估计期望值，然后在离散的近似算法中使用这些估计量，通常是随机的梯度下降法，举个例子，在Widro
2、ws LMS算法中，他用的梯度是随机梯度理解细节v1.error surfacev2.m*v3.函数估计与分类2.有监督的学习相当于操作性条件反射v1.操作性条件反射相当于有监督的学习，如果输入与期望的输出不同，就调节权值m2.有监督的学习相当于操作性条件反射v2.传统条件反射（相对于非条件反射的概念），神经网络直接把输入x耦合到输出y2.有监督的学习相当于操作性条件反射v操作性条件反射的例子1自然选择2家长教育孩子v传统条件反射的例子1巴普洛夫试验2望梅止渴3.有监督的学习相当于有先验知识的随机模式学习v1.模式模式就是特征域 上的一个点，随机时变模式定义了一个随机过程x(t)，t属于0，T
3、，值域是特征域 v2.随机模式学习由已知的样本x(1)，x(2)x(n)来估计x的概率密度函数p(x) 3.有监督的学习相当于有先验知识的随机模式学习v3.类的子集，下面假设我们把模式空间 分成了k个不相交的子集 ，也叫决策类v4.类的概率3.有监督的学习相当于有先验知识的随机模式学习v4.类的概率其中 ，是一个指示器函数，定义为 这是离散的情况，如果指示函数指出了模式 x对于类 S的隶属度，那么 S 就是一个模糊集。例如定义 ，那么积分成为3.有监督的学习相当于有先验知识的随机模式学习v4.类的概率 这说明我们使用的模糊指示函数是正确的，这里模糊的概念就是概率3.有监督的学习相当于有先验知识的随机模式学习v5.有监督和无监督模式学习 贝叶斯学习，因为用到了指示器函数，所以是有监督的学习 有监督和无监督模式学习的区别依赖于已有的信息以及学习系统如何利用它。在两种情况下系统都不知道如果知道确定的类，并且学习系统利用了这些信息，那么模式学习就是监督学习。如果不知道或没用类隶属度（指示函数），则模式学习就是非监督的。3.有监督的学习相当于有先验知识的随机模式学习监督随机竞争学习定律：先看噪声随机竞争学习定律:由于上式没有使用类成员信息校正突触矢量，所以是非监督学习。监督随机竞争学习定律为：增强函数为：奖励正确的模式分类1，惩罚错误的模式分类为1。
