《指导老师高新波》由会员分享，可在线阅读，更多相关《指导老师高新波（37页珍藏版）》请在金锄头文库上搜索。
1、NEURAL NETWORKS AND FUZZY SYSTEMSCHAPTER FOUR SYNAPTIC DYNAMICS 1:UNSUPERVISED LEARNING讲 课 人： 李良群指导老师：高新波*1学习w 学习就是对信息进行编码,其目的就是通过向 有限个例子（训练样本）的学习来找到隐藏 在例子背后（即产生这些例子）的规律（如 函数形式）。 w 三种学习方式：Date2编码w我们使用行为（behavioristic）编码准则， 如果输入激励为 ，而响应为 ，则该系 统对激励响应 进行了学习。输入 输出对 表示函数 的一个样本 ，函数f将n维矢量X映射到p维矢量Y。 Date3学习
2、过程w 如果对所有的输入 都有响应 ，那么我们就说系统对函数进行了学习w若输入 系统就会得到响应 ，则表明系统近似或部分的对函数进行了学习，即系统把相似的输入映射为相似的输出，由此估计出一个连续的函数。Date4学习与改变w当样本数据改变系统参数时，系统会对这些改 变进行自适应或自组织的学习。在神经网络中 表现为突触的改变，而不是神经元的改变（尽 管有时神经元也学习新的状态）。 w注：突触的改变就是权值的学习过程，而神经 元的改变只是网络的演化 。 w当激励改变了记忆介质并使改变维持相当长一 段时间后，我们就说系统学会了 。这也说明了 传统的解释学习是半永久的变化。例如，如果 我们通过了微积分
3、的考试，那么可以说我们学 会了微积分，并且可以持续这种“会“的状态一 段时间。 Date5学习与量化w量化的必要性通常系统只能对样本模式环境中一小部分样 本进行学习，而可能的样本数量使无穷的。 w系统的存储量是有限的，这就要求系统要通 过学习学会用新的样本模式替换旧的样本模 式，从而形成样本模式的内部表达或模型。 w从而可用学会的模型来定义量化模式 。Date6学习与量化w量子化量子化，把样本模式空间 分成k个区域： 量子化区域决策组。被学习的原型矢量在一 个足够大的模式空间 中定义了 个突触点 。当且仅当某个 在 中移动时，系统才 进行学习。 w矢量量子化规则矢量量子化可以按照不同的规则进行
4、优化。 原型可以扩展以使矢量量子化均方误差最小 或使某些数字性能规则最优。更一般的，量 子化矢量可以估计样本模式的未知的概率分 布，即可从原型矢量的分布可以统计的代表 样本模式的未知分布。Date7无监督和有监督学习w对于两种学习方式，描述样本模式x在样本空 间 中的连续分布的概率密度函数 都是 未知，只有通过学习来更精确的估计 。 w无监督学习对 不作任何的假设，并且只 是利用最少限度的信息 。 w优点：利用“无标志”的模式样本，“盲目”处理 模式样本 ，其计算复杂度小，速度快，适 用于高速环境。缺点：精确度低Date8无监督和有监督学习w对于有监督学习，它假设了一种样本模式分组 结构或 性
5、能 。 w有监督学习算法还依赖于每个学习样本的分组 隶属度信息，即，假设 分成：所以算法可以检查出错误分组或计算出“错误” 信息或矢量。 w优点：精确度较高。缺点：速度较慢，计算较 复杂。Date9在神经网络中的区别w有监督学习利用在所有可能的突触值的联系 空间中估计出的梯度下降，来估计依赖于的 未知均方性能的测度梯度。监督器利用分组 隶属度信息来确定数字误差信号或矢量，以 引导估计出的梯度下降。 w无监督学习类似与生物突触，利用神经信号 的局部信息来改变参数，而不利用分组隶属 度信息来处理未标志的原始数据。它自适应 的把样本模式分成模式簇 ，突触扇入矢量 估计样本模式的分组轨迹，这个过程依赖
6、于 未知概率密度函数 。Date10在神经网络中的区别w一般无监督学习规则可用一阶差分或一阶微 分方程来定义。一般来说，随机微分方程就 定义了一个无监督学习规则，并且描述了突 触如何处理局部可用信息。Date11局部信息 w局部信息：突触可以简单获得的，经常是表示突触 性质和神经信号性质的信息 。 w局部化使突触可以实时、异步地学习，不需要全局 的误差信息；也使无监督学习定律的函数空间缩小 ，从而也使得突触只能获得局部非常有限的信息。 w局部的无监督突触把信号和信号联系起来，形成由 局部化限定的共轭或相关学习定律。 w学习定律中只包含神经元、突触和噪声三项。 w借助于联想可以进一步缩小函数空间
7、，它把模式联 系起来。通过 把 、 联系起来，神经网 络的主要目的也就是估计函数 和未知的联合概 率密度函数 。Date12四种无监督学习w主要介绍：信号Hebbian学习、微分Hebbian学习、竞争学习、微分竞争学习Date13四个无监督学习w首先介绍这四种非监督学习定律的基本 形式； w简单回顾一下概率论、随机过程、布朗 运动和白噪声； w最后，对这四种非监督学习的学习定律 的性质分别加以简单介绍。Date141、确定信号的Hebbian学 习w局部神经信号：或简化为：w若 ，则第 个突触连接被激活 w若 ，则第 个突触连接被抑制w ：是单调非减函数，其作用就是把激励 或膜电位 转化为有
8、界信号Date152、确定性的竞争学习 （ Grossberg，1969）w用是竞争信号调整信号-突触的差分，即：w若 ，则输出神经元场 中的第 个神 经元赢得竞争； w若 ，则输出神经元场 中的第 个神 经元输掉竞争。Date162、确定性的竞争学习 （ Grossberg，1969） w竞争可以归结为最近邻模式匹配的问题。 是一个度量指示器函数。Date172、确定性的竞争学习 （Grossberg，1969）w实际中， 是线线性的，即， 输 入模式矢量 就代表了神经元场 中 的输出。此时，竞争学习准则就成为线 性竞争学习准则：Date183、确定性的微分Hebbian学习 （Kosko，
9、1988） w学习准则信号速度：虽然信号可能是非负的，但是速度则可正 可负 Date194、确定性的微分竞争学习w学习法则：微分竞争，只有改变了才学习，速度 使局部奖惩强化。线性微分竞争学习法则：Date20三概率空间和随机过程w随机过程是随机变量族的序列，更一般的讲 ，是随机矢量族的序列（即多维随机矢量） 。 w随机过程也是有序号的随机变量，不同序号 的集合定义了不同的随机过程。 w一个有限序号集定义了一个随机矢量，如w一个有限可数的序号集定义了一个随机序列 。 w一个连续或不连续的序号集定义了一个随机 过程。Date21概率测度 w定义：若 在 的不相交子集 上是可数、加性的，即：则 定义
10、了一个概率测度。：Borel sigma-algebra概率测度把有限的非负数赋予 集合。在 概率空间 上， 。Date22累积概率函数w随机矢量 其累积概率函数为简记为 ，或直接记为Date23概率密度函数及其统计特性w概率密度函数 w高斯密度函数 w数学期望 w互相关、互协方差、互协方差阵、互相关协 方差矩阵Date24不相关、独立w若X、Z不相关，则w若X、Z相互独立，则Date25条件概率密度 、条件期望和条件 独立w条件概率密度函数 是w条件期望是w条件独立Date26指示器函数 则可以定义指示器函数数学期望 :Date27收敛定义 w处处收敛w均匀收敛均匀收敛一定处处收敛，反过来不
11、一定成立。Date28四种收敛方法：w以概率1收敛：w依概率收敛Date29四种收敛方法：w均方收敛w依分布收敛Date30四种收敛方法w四者关系：以概率1收敛均方收敛依概率收敛依分布收敛，上述逆不成立。Date31宽平稳随机过程w当且仅当时间变化不影响一、二阶矩时，一 个随机过程才是宽平稳随机过程，即Date32噪声随机非监督学习定律 w首先考虑一般的情况 w 突触信号过程 w引理： w引理说明：随机突触在平衡态振动，而且至 少和驱动的噪声过程的振动的一样大，突触 矢量 在每个t都振动，其平均值为一常数 ，即围绕常值 作布朗运动。Date33随机平衡w当突触 停止运动，确定的Hebbian 学习就出现了随机平衡Date34随机竞争学习定律 w随机竞争学习定律用随机竞争信号 调制随机矢量差 ，并加上独立 高斯白噪声矢量 来模型化那些未模 型化的效应w线性竞争学习定律 w线性竞争学习定律以X代替线性信号矢 量Date35离散随机差分方程系统 w常用竞争学习算法作为离散随机差分方 程系统Date36自组织映射系统wKohonen把下面简化的非监督随机系统 称为自组织映射系统Date37
