《人工神经网络B课件》由会员分享，可在线阅读，更多相关《人工神经网络B课件（63页珍藏版）》请在金锄头文库上搜索。
1、第第2 2部分：人工神经网络部分：人工神经网络 主要内容主要内容一一. . 人工神人工神经网网络基本知基本知识生物神生物神生物神生物神经经网网网网络络、生物神、生物神、生物神、生物神经经元元元元人工神人工神人工神人工神经经网网网网络络、人工神、人工神、人工神、人工神经经元元元元人工神人工神人工神人工神经经网网网网络络三要素三要素三要素三要素典型激活函数典型激活函数典型激活函数典型激活函数神神神神经经网网网网络络几种典型形式几种典型形式几种典型形式几种典型形式二二. . 前前馈神神经网网络、多、多层感知器、及非感知器、及非线性分性分类三三. BP. BP神神经网网络四四. . 数据数据处理及神理
2、及神经网网络结构的构的选择五五. . 应用用 人工神人工神经网网络 是是生物神生物神经网网络的某种模型的某种模型( (数学模型数学模型) ) 是是对生物神生物神经网网络的模仿的模仿 基本基本处理理单元元为人工神人工神经元元1. 1. 生物神生物神经系系统与生物神与生物神经元元 大量大量生物神生物神经元元的广泛、复的广泛、复杂连接，形接，形成成生物神生物神经网网络 (Biological Neural Network, BNN)。 实现各种智能活各种智能活动 生物神生物神经元元(neuron)(neuron)是基本的信息是基本的信息处理理单元元(1)(1)生物神生物神经系系统 生物神生物神经元元
3、(neuron)(neuron)是基本的信息是基本的信息处理理单元元, ,其其组成：成： 树树突突突突(dendrites),(dendrites),(dendrites),(dendrites), 接收来自外接的信息接收来自外接的信息接收来自外接的信息接收来自外接的信息 细细胞体胞体胞体胞体(cell body),(cell body),(cell body),(cell body), 神神神神经细经细胞主体，信息加工胞主体，信息加工胞主体，信息加工胞主体，信息加工 轴轴突突突突(axon), (axon), (axon), (axon), 细细胞的胞的胞的胞的输输出装置，将信号向外出装置，
4、将信号向外出装置，将信号向外出装置，将信号向外传递传递， 与多个神与多个神与多个神与多个神经经元元元元连连接接接接突触突触突触突触 （synapsse), synapsse), synapsse), synapsse), 神神神神经经元元元元经经突触向其它神突触向其它神突触向其它神突触向其它神经经元（胞元（胞元（胞元（胞体或体或体或体或树树突）突）突）突）传递传递信号信号信号信号(2)(2)生物神生物神经元的基本特征元的基本特征 神神经元之元之间彼此彼此连连接接接接 神神经元之元之间的的连接接强度度决定决定信号信号信号信号传递传递的的强弱弱 神神经元之元之间的的连连接接接接强强度度度度可以可以
5、随随随随训练训练改改改改变变 学学习、遗忘、疲忘、疲劳 -神神经网网络中各神中各神经元之元之间连连接的接的接的接的强强弱弱弱弱，按外部，按外部的激励信号做的激励信号做自适自适自适自适应变应变化化化化 兴奋兴奋与抑制与抑制与抑制与抑制 信号可以起信号可以起兴奋兴奋作用，也可以起作用，也可以起抑制抑制抑制抑制作用作用 一个神一个神经元接受信号的元接受信号的累累累累积积效果（效果（效果（效果（综综合大小，合大小，合大小，合大小，代数和）代数和）代数和）代数和）决定决定该神神经元的元的状状状状态态( ( ( (兴奋兴奋、抑制、抑制、抑制、抑制) ) ) ) 每个神每个神经元可以有一个元可以有一个“ “
6、阈值阈值” ”2. 2. 人工神人工神经网网络与人工神与人工神经元元(1)(1)基本的人工神基本的人工神经元模型元模型McCulloch-PittsMcCulloch-Pitts神神经元模型元模型输入信号；入信号；链接接强度与度与权向量；向量；信号累信号累积激活与抑制激活与抑制(1) (1) 基本的人工神经元模型基本的人工神经元模型(2) (2) 输出函数输出函数f(2)(2)(2)(2)几种常几种常几种常几种常见见形式的形式的形式的形式的传递传递函数函数函数函数( ( ( (激活函数激活函数激活函数激活函数) ) ) )(2) (2) 输出函数输出函数f(2) (2) 输出函数输出函数f主要
7、内容主要内容一.一.人工神人工神经网网络基本知基本知识二.二.二二. . 前前馈神神经网网络、多多层感感知知器器、及及非非线性性分分类三三. BP. BP神神经网网络四四. . 数据数据处理及神理及神经网网络结 构的构的选择五五. . 应用用各神各神经元接受来自前元接受来自前级的的输入，并入，并产生生输出到下一出到下一级，无反无反无反无反馈馈，可用一有向无，可用一有向无环图表示。表示。网网络中的中的节点分两点分两类：输输入入入入节节点点点点；计计算算算算节节点点点点( ( ( (神神神神经经元元元元节节点点点点) ) ) )节点按点按层(layer)(layer)组织 ： 第第i i层的的输入
8、只与第入只与第i i-1-1层的的输出相出相连。 输入信号由入信号由输入入层输入入, ,由第一由第一层节点点输出，出，传向下向下层，前前前前馈馈：信息由低：信息由低：信息由低：信息由低层层向高向高向高向高层单层单向流向流向流向流动动。- 可可可可见层见层 输输入入入入层层 (input layer) (input layer) 输入入节点所在点所在层，无，无计算能力算能力 输输出出出出层层 (output layer) (output layer) 节点点为神神经元元 隐隐含含含含层层( hidden layer)( hidden layer)( hidden layer)( hidden l
9、ayer) 中中间层，节点点为神神经元元1.1.前前馈(forward)(forward)神神经网网络 具有具有具有具有三层计算单三层计算单三层计算单三层计算单元的元的元的元的前馈神经网络结前馈神经网络结前馈神经网络结前馈神经网络结构构构构2. 2. 感知器神感知器神经网网络( (感知器感知器) )、感知器神、感知器神经元元感知器神经元感知器神经元感知器神经元感知器神经元单层感知器网络单层感知器网络单层感知器网络单层感知器网络感知器神经元的传递函数感知器神经元的传递函数感知器神经元的传递函数感知器神经元的传递函数单层感知网络可以实现线性分类单层感知网络可以实现线性分类单层感知网络可以实现线性分
10、类单层感知网络可以实现线性分类2. 2. 感知器神感知器神经网网络、感知器神、感知器神经元元( (续续) )(1)(1)多层感知器多层感知器多层感知器多层感知器(MLP) (MLP) 的一致逼近性的一致逼近性的一致逼近性的一致逼近性单个阈值神经元可以实现任意多输入任意多输入的与与、或或及与非与非、或非或非逻辑门。任何逻辑函数可由两层前馈网络（一层计任何逻辑函数可由两层前馈网络（一层计算单元）实现算单元）实现。三层或三层以上的前馈网络通常称为三层或三层以上的前馈网络通常称为多层多层感知器感知器多层感知器的适用范围大大超过单层网络。3. 3. 多层感知器（含两层以上的计算单元）多层感知器（含两层以
11、上的计算单元）多层感知器示意多层感知器示意当神经元的输出函数为当神经元的输出函数为sigmoidsigmoid等函数时，三等函数时，三层前馈网络层前馈网络( (含两层计算单元含两层计算单元) )可以逼近可以逼近任意的任意的多元非线性函数多元非线性函数。主要内容主要内容一一. . 人工神人工神经网网络基本知基本知识、神、神经元与感知器元与感知器二二. . 前前馈神神经网网络、多、多层感知器、及非感知器、及非线性分性分类三三. BP. BP神神经网网络四四. . 数据数据处理及理及 神神经网网络结构的构的选择五五 应用用 基于基于阈值神神经元元的多的多层感知器不足感知器不足 隐隐含含含含层层不直接
12、与外界不直接与外界不直接与外界不直接与外界连连接，接，接，接，误误差无法直接估差无法直接估差无法直接估差无法直接估计计 中中中中间层间层神神神神经经元的激活函数元的激活函数元的激活函数元的激活函数为阈值为阈值函数函数函数函数( ( ( (或或或或阶跃阶跃函数函数函数函数) ) ) ) 无法采用无法采用无法采用无法采用梯度下降法梯度下降法梯度下降法梯度下降法训练训练神神神神经经元元元元权值权值 基于基于BPBP算法的多算法的多层感知器感知器(BP(BP网网络) ) 各各各各计计算算算算单单元元元元( ( ( (神神神神经经元元元元节节点点点点) ) ) )传递传递函数函数函数函数：Sigmoid
13、SigmoidSigmoidSigmoid函数函数函数函数 误误差差差差逐逐逐逐层层反向反向反向反向传传播；播；播；播； 信号信号信号信号逐逐逐逐层层正向正向正向正向传递传递BPBP神神经网网络训练的两个的两个阶段段 (1)(1)信号正向信号正向传递过程程 输入信息入信息从从输入入层经经隐层逐逐层、正向正向传递，直至得到各，直至得到各计算算单元的元的输出出 (2)(2)误差反向差反向传播播过程程 输出出层误差差从从输出出层开始，逐开始，逐层、反向、反向传播，可播，可间接接计算算隐层各各单元的元的误差，并用此差，并用此误差修正前差修正前层的的权值. .BPBP网网络的的优点点特特别适合于求解内部
14、机制复适合于求解内部机制复杂的的问题 BPBP网网络实质上上实现了一个从了一个从输入到入到输出的映射功能，而数学理出的映射功能，而数学理论已已证明明它具有它具有实现任何复任何复杂非非线性映射的功能性映射的功能具有自学具有自学习能力能力 网网络能通能通过学学习带正确答案的正确答案的实例集例集自自动提取提取“合理的合理的”求解求解规则网网络具有一定的推广、概括能力具有一定的推广、概括能力。BPBPBPBP网网网网络络的的的的问题问题，如：，如：，如：，如：BPBPBPBP算法的学算法的学算法的学算法的学习习速度速度速度速度较较慢慢慢慢网网网网络训练络训练失失失失败败的可能性的可能性的可能性的可能性
15、较较大大大大 网网网网络结络结构的构的构的构的选择选择尚无一种尚无一种尚无一种尚无一种统统一而完整的理一而完整的理一而完整的理一而完整的理论论指指指指导导，一般只能由一般只能由一般只能由一般只能由经验选经验选定定定定。网网网网络络的的的的预测预测能力（泛化能力、推广能力）与能力（泛化能力、推广能力）与能力（泛化能力、推广能力）与能力（泛化能力、推广能力）与训练训练能能能能力（逼近能力、学力（逼近能力、学力（逼近能力、学力（逼近能力、学习习能力）的矛盾能力）的矛盾能力）的矛盾能力）的矛盾。主要内容主要内容一一. . 人工神人工神经网网络基本知基本知识、神、神经元与感知器元与感知器二二. . 前前
16、馈神神经网网络、多、多层感知器、及非感知器、及非线性分性分类三三. BP. BP神神经网网络四四. . 数据数据处理及神理及神经网网络结构的构的选择五五 应用用 PART1.PART1.输入输入/ /输出数据的处理输出数据的处理回回归或状或状态预测，数据，数据处理方式有所区理方式有所区别 建模前建模前输入入输出数据的出数据的预处理理正向正向标准化准化 建模后建模后输入入输出数据的后出数据的后处理理反向反向标准化准化特征的平移特征的平移特征的尺度特征的尺度调整整0,1,-1,1,-0,1,-1,1,-a,aa,a,0,a0,a PART2.PART2.神经网络的层次选择神经网络的层次选择对多层网
17、络要确定选用几个隐含层？对多层网络要确定选用几个隐含层？19881988年年CybenkoCybenko指指出出，若若各各节节点点均均采采用用S S型型函函数，则数，则 一个隐含层一个隐含层足以实现任意判决分类问题；足以实现任意判决分类问题； 两个隐含层两个隐含层足以实现输入图形的任意输出足以实现输入图形的任意输出网网络络层层次次选选取取依依经经验验和和情情况况而而定定，通通常常不不宜宜过多。过多。 PART3.PART3.节点数目的确定点数目的确定输入入层、输出出层、隐含含层节点数点数1. 1. 输入入层节点数的确定点数的确定 节点数点数= =输入向量的入向量的维数数2.2.输出出层节点数的
18、确定点数的确定节点数点数取决于取决于: : 输出的表示方法出的表示方法; ; 类别数目；数目； 待逼近的函数数待逼近的函数数目。目。(1)(1)两两类别问题 单输出型出型 1 1个判个判别函数，函数，1 1个个输出出节点点(2)(2)多多类别问题 输出出节点数是点数是类别数：数：“C C中取中取1(1-1(1-of-C)of-C)” C C位位“0-10-1”二二进制制编码 输出出节点数是二点数是二进制制编码的状的状态数数 8 8类问题，3 3位二位二进制数制数 可能会需增加可能会需增加1 1个个隐含含层以以满足要求足要求(3)(3)输出出节点数是待逼近的函数个数点数是待逼近的函数个数 隐含层
19、节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好证预测能力好证预测能力好证预测能力好“过学习过学习过学习过学习( ( ( (过拟合过拟合过拟合过拟合) ) ) )” overfitting隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节隐含层节点不能过少，网络不能构建复杂决策面：节点数越小，网络学习能力低点数越小，网络学习能力低点数越小，网络学习能力低点数越小，网络
20、学习能力低-“欠学习欠学习欠学习欠学习( ( ( (欠拟合欠拟合欠拟合欠拟合) ) ) )” underfittingunderfitting如何选择适当数目如何选择适当数目如何选择适当数目如何选择适当数目“隐含层隐含层隐含层隐含层”节点，以取得节点，以取得节点，以取得节点，以取得“过学习过学习过学习过学习”与与与与 “欠学习欠学习欠学习欠学习”之间的平衡？之间的平衡？之间的平衡？之间的平衡？3.3.3.3.隐含层节点数的确定隐含层节点数的确定隐含层节点数的确定隐含层节点数的确定试试凑法凑法凑法凑法结结合合合合问题问题先先先先验验知知知知识识结结合特定算法合特定算法合特定算法合特定算法 对隐对
21、隐含含含含层节层节点数的点数的点数的点数的选择选择，NielsonNielsonNielsonNielson等指出：等指出：等指出：等指出： 除除除除了了了了图图像像像像情情情情况况况况，在在在在大大大大多多多多数数数数情情情情况况况况下下下下，可可可可使使使使用用用用4-4-4-4-5 5 5 5个个个个隐隐含含含含层节层节点点点点对应对应1 1 1 1个个个个输输入入入入节节点。点。点。点。 在在在在图图像像像像情情情情况况况况下下下下，像像像像素素素素的的的的数数数数目目目目决决决决定定定定了了了了输输入入入入节节点点点点的数目，此的数目，此的数目，此的数目，此时隐时隐含含含含层结层结点
22、可取点可取点可取点可取输输入入入入结结点数的点数的点数的点数的10%10%10%10%左右。左右。左右。左右。 其它其它其它其它经验经验 主要内容主要内容一一. . 人工神人工神经网网络基本知基本知识、神、神经元与感知器元与感知器二二. . 前前馈神神经网网络、多、多层感知器、及非感知器、及非线性分性分类三三. BP. BP神神经网网络四四. . 神神经网网络结构的构的选择五五 应用用回回归状状态预测1.状态预测状态预测-参考参考MATLAB神经网络神经网络30个案例分析个案例分析例例.基于基于BP神经网络的数据分类神经网络的数据分类四类语音特征信号分析四类语音特征信号分析每组语音信号为24维输入；四类语音信号：民歌、古筝、摇滚、流形共计2000组语音信号要求：基于BP网络设计一个语音信号类别预测模型代码：见案例1例：例：例：例：2. 回归估计回归估计例：基于例：基于BP神经网络的公路运量神经网络的公路运量(客运量、货运量客运量、货运量)预测预测公路运量与该地区人数、机动车数量、公路面积有关。已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。分析：(1)明确模型输入输出关系(2)建模： 原始数据读取；数据标准化处理；网络训练；(3)模型评价： 对原始数据仿真，明确预测误差(4)输出预测结果：对新数据预测结果
