《神经网络基本理论ppt课件》由会员分享，可在线阅读，更多相关《神经网络基本理论ppt课件（54页珍藏版）》请在金锄头文库上搜索。
1、第四章神经网络基本理论 2020 6 18 1 4 1人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟 生物神经元模型 生物神经元主要由细胞体 树突和轴突组成 树突和轴突负责传入和传出信息 兴奋性的冲动沿树突抵达细胞体 在细胞膜上累积形成兴奋性电位 相反 抑制性冲动到达细胞膜则形成抑制性电位 两种电位进行累加 若代数和超过某个阈值 神经元将产生冲动 2020 6 18 2 4 1人工神经元模型 人工神经元模型 模仿生物神经元产生冲动的过程 可以建立一个典型的人工神经元数学模型 x1 xn T为输入向量 y为输出 f 为激发函数 为阈值 Wi为神经元与其它神经元的
2、连接强度 也称权值 2020 6 18 3 4 1人工神经元模型 常用的激发函数f的种类 1 阈值型函数 2020 6 18 4 4 1人工神经元模型 2 饱和型函数 3 双曲函数 2020 6 18 5 4 1人工神经元模型 4 S型函数 5 高斯函数 2020 6 18 6 4 2神经网络的定义和特点 神经网络系统是由大量的神经元 通过广泛地互相连接而形成的复杂网络系统 定义 特点 1 非线性映射逼近能力 任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近 2 自适应性和自组织性 神经元之间的连接具有多样性 各神经元之间的连接强度具有可塑性 网络可以通过学习与训练进行自组织 以
3、适应不同信息处理的要求 3 并行处理性 网络的各单元可以同时进行类似的处理过程 整个网络的信息处理方式是大规模并行的 可以大大加快对信息处理的速度 4 分布存储和容错性 信息在神经网络内的存储按内容分布于许多神经元中 而且每个神经元存储多种信息的部分内容 网络的每部分对信息的存储具有等势作用 部分的信息丢失仍可以使完整的信息得到恢复 因而使网络具有容错性和联想记忆功能 5 便于集成实现和计算模拟 神经网络在结构上是相同神经元的大规模组合 特别适合于用大规模集成电路实现 2020 6 18 7 4 3感知器模型 感知器 Perceptron 是由美国学者F Rosenblatt于1957年提出的
4、 它是一个具有单层计算单元的神经网络 并由线性阈值元件组成 激发函数为阈值型函数 当其输入的加权和大于或等于阈值时 输出为1 否则为0或 1 它的权系W可变 这样它就可以学习 感知器的结构 2020 6 18 8 4 3感知器模型 感知器的学习算法 为方便起见 将阈值 它也同样需要学习 并入W中 令Wn 1 X向量也相应地增加一个分量xn 1 1 则 学习算法 给定初始值 赋给Wi 0 各一个较小的随机非零值 这里Wi t 为t时刻第i个输入的权 1 i n Wn 1 t 为t时刻的阈值 输入一样本X xi xn 1 和它的希望输出d 计算实际输出 修正权W Wi t 1 Wi t d Y t
5、 xi i 1 2 n 1 转到 直到W对一切样本均稳定不变为止 2020 6 18 9 4 3感知器模型 根据某样本训练时 均方差随训练次数的收敛情况 2020 6 18 10 4 4神经网络的构成和分类 构成 从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述 状态方程描述每个神经元的输入 输出 权值间的函数关系 学习方程描述权值应该怎样修正 神经网络通过修正这些权值来进行学习 从而调整整个神经网络的输入输出关系 分类 1 从结构上划分 通常所说的网络结构 主要是指它的联接方式 神经网络从拓扑结构上来说 主要分为层状和网状结构 2020 6 18 11 4 4
6、神经网络的构成和分类 层状结构 网络由若干层组成 每层中有一定数量的神经元 相邻层中神经元单向联接 一般同层内神经元不能联接 前向网络 只有前后相邻两层之间神经元相互联接 各神经元之间没有反馈 每个神经元从前一层接收输入 发送输出给下一层 2020 6 18 12 4 4神经网络的构成和分类 网状结构 网络中任何两个神经元之间都可能双向联接 反馈网络 从输出层到输入层有反馈 每一个神经元同时接收外来输入和来自其它神经元的反馈输入 其中包括神经元输出信号引回自身输入的自环反馈 混合型网络 前向网络的同一层神经元之间有互联的网络 2020 6 18 13 4 4神经网络的构成和分类 2 从激发函数
7、的类型上划分 高斯基函数神经网络 小波基函数神经网络 样条基函数神经网络等等 3 从网络的学习方式上划分 有导师学习神经网络为神经网络提供样本数据 对网络进行训练 使网络的输入输出关系逼近样本数据的输入输出关系 有导师学习神经网络不为神经网络提供样本数据 学习过程中网络自动将输入数据的特征提取出来 4 从学习算法上来划分 基于BP算法的网络 基于Hebb算法的网络 基于竞争式学习算法的网络 基于遗传算法的网络 2020 6 18 14 4 4多层前向BP神经网络 最早由werbos在1974年提出的 1985年由Rumelhart再次进行发展 多层前向神经网络的结构 多层前向神经网络由输入层
8、隐层 不少于1层 输出层组成 信号沿输入 输出的方向逐层传递 2020 6 18 15 4 4多层前向BP神经网络 沿信息的传播方向 给出网络的状态方程 用Inj i Outj i 表示第i层第j个神经元的输入和输出 则各层的输入输出关系可描述为 第一层 输入层 将输入引入网络 第二层 隐层 第三层 输出层 2020 6 18 16 4 4多层前向BP神经网络 网络的学习 学习的基本思想是 误差反传算法调整网络的权值 使网络的实际输出尽可能接近期望的输出 假设有M个样本 将第k个样本Xk输入网络 得到的网络输出为 定义学习的目标函数为 2020 6 18 17 4 4多层前向BP神经网络 为使
9、目标函数最小 训练算法是 令 则 2020 6 18 18 4 4多层前向BP神经网络 学习的步骤 3 计算 4 计算 如果样本数少 则学习知识不够 如果样本多 则需计算更多的dJk dw 训练时间长 可采用随机学习法每次以样本中随机选取几个样本 计算dJk dw 调整权值 2020 6 18 19 例4 1多层前向BP网络训练 训练样本SISO SampleInput 00 10 20 30 4 SampleOutput 42222 网络结构 2020 6 18 20 网络输入输出关系 需训练的量 2020 6 18 21 训练算法 2020 6 18 22 训练初始参数 W1 rand 1
10、 5 W2 rand 1 5 theta rand 1 5 beta rand 1 5 LearningRate1 0 2 LearningRate2 0 4 LearningRate3 0 2 LearningRate4 0 2 2020 6 18 23 训练后参数 W1 0 40598 5182 0 5994 0 1153 1 1916 W2 0 62452 83820 66320 57833 5775 Beta 1 6219 4 94031 60411 5145 0 3858 Theta 1 58320 19001 54061 6665 0 1441 2020 6 18 24 训练100
11、0次目标函数的变化曲线 2020 6 18 25 训练结束后神经网络的输出与样本的拟和情况 2020 6 18 26 4 4多层前向BP神经网络 前向网络进一步需研究的问题 局部最优问题 网络初值选取不恰当 学习算法收敛速度慢 Sigmaid函数本身存在无穷多闪导数 而BP算法只用了一次导数 致使收敛速度慢 网络的运行是单向传播 没有反馈 是一个非浅性映射 而不是非浅性动力系统 网络隐层节点个数和初始权值的选取 尚无理论指导 2020 6 18 27 4 5大脑自组织神经网络 是一种无导师学习的网络 脑神经科学研究表明 传递感觉的神经元排列是按某种规律有序进行的 这种排列往往反映所感受的外部刺
12、激的某些物理特征 大脑自组织神经网络在接受外界输入时 将会分成不同的区域 不同的区域对不同的模式具有不同的响应特征 即不同的神经元以最佳方式响应不同性质的信号激励 从而形成一种拓扑意义上的有序排列 在这种网络中 输出节点与其邻域其他节点广泛相连 并互相激励 输入节点和输出节点之间通过强度wij t 相连接 通过某种规则 不断地调整wij t 使得在稳定时 每一邻域的所有节点对某种输入具有类似的输出 并且这种聚类的概率分布与输入模式的概率分布相接近 2020 6 18 28 4 5大脑自组织神经网络 自组织学习算法 权值初始化并选定领域的大小 2 输入模式 3 计算空间距离 式中xi t 是t时
13、刻i节点的输入 wij t 是输入节点i与输出节点j的连接强度 N为输入节点的数目 4 选择节点j 它满足 5 按下式改变j 和其领域节点的连接强度wij t 1 wij t t xi t wij t j j 的领域 0 i N 1式中 t 称之为衰减因子 6 返回到第 2 步 直至满足 xi t wij t 2 为给定的误差 2020 6 18 29 4 5大脑自组织神经网络 例4 2大脑自组织网络的训练 输入模式 X x1 x2 x3 网络节点数量 9邻域 1网络初始权值 W 0 11220 01470 28160 78390 90280 82890 52080 46080 44350 4
14、4330 66410 26180 98620 45110 16630 71810 44530 36630 46680 72410 70850 47330 80450 39390 56920 08770 3025 2020 6 18 30 4 5大脑自组织神经网络 1 单模式训练情况 输入为 X 001 结果 W 0 11220 00000 00000 00000 90280 82890 52080 46080 44350 44330 00000 00000 00000 45110 16630 71810 44530 36630 46681 00001 00001 00000 80450 393
15、90 56920 08770 3025 输入为 X 010 结果 W 0 11220 01470 28160 78390 90280 82890 00000 00000 00000 44330 66410 26180 98620 45110 16631 00001 00001 00000 46680 72410 70850 47330 80450 39390 00000 00000 0000 2020 6 18 31 4 5大脑自组织神经网络 2 多模式训练情况 训练结果 W 网络输出 Output Input W 模式1 模式2 模式3 模式2 模式1 模式3 模式1 模式2 模式3 202
16、0 6 18 32 4 6小脑神经网络 小脑模型关节控制器 CMAC 是由Albus最初于1975年基于神经生理学提出的 它是一种基于局部逼近的简单快速的神经网络 能够学习任意多维非线性映射 迄今已广泛用于许多领域 CMAC具有优点 具有局部逼近能力 每次修正的权值极少 学习速度快 适合于在线学习 一定的泛化能力 相近输入给出相近输出 不同输入给出不同输出 2020 6 18 33 4 6小脑神经网络 CMAC的原理 CMAC是一种模仿人类小脑的学习结构 在这种技术里 每个状态变量被量化并且输入空间被划分成离散状态 量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息 对于输入空间大的情况 联想单元数量巨大 为了节省存储空间 Albus提出了hash编码 将联想强度存于数量大大少于联想单元的hash单元中 联想单元中只存储hash单元的散列地址编码 2020 6 18 34 4 6小脑神经网络 CMAC的空间划分和量化机制 超立方体 联想单元 块 2020 6 18 35 4 6小脑神经网络 CMAC学习的数学推导 1 无hash
