《MATLAB神经网络工具箱中的神经网络模型》由会员分享，可在线阅读，更多相关《MATLAB神经网络工具箱中的神经网络模型（53页珍藏版）》请在金锄头文库上搜索。
1、MATLAB神经网络 工具箱中的神经网 络模型神经网络工具箱简介nMATLAB 7对应的神经网络工具箱的版本为 Version 4.0.3,它以神经网络理论为基础,利用 MATLAB脚本语言构造出典型神经网络的激活 函数,如线性、竞争性和饱和线性等激活函数， 使设计者对所选定网络输出的计算变成对激活 函数的调用。n还可根据各种典型的修正网络权值规则，加上 网络的训练过程，利用MATLAB编写出各种网 络设计和训练的子程序，用户根据自己的需要 去调用。神经网络工具箱的主要应用n函数逼近和模型拟合n信息处理和预测n神经网络控制n故障诊断应用神经网络工具箱求解问题的一般过 程 n确定信息表达方式数据
2、样本已知 数据样本之间相互关系不确定 输入/输出模式为连续的或者离散的输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等 变化形式数据样本的预处理 将数据样本分为训练样本和测试样本n确定网络模型选择模型的类型和结构，也可对原网络进行变形和扩充n网络参数的选择确定输入输出神经元数目n训练模型的确定选择合理的训练算法，确定合适的训练步数，指定适当的训练目标 误差n网络测试选择合适的测试样本人工神经元的一般模型n神经元模型及其简化模型如图所示，输入向量 、权值矩阵 ，与阈值的加权和（内积运算）送入累加器，形成净输入，即：人工神经元模型 图中，xi(i1，2，n)为加于输入端(突触)上 的输入
3、信号；i为相应的突触连接权系数，它是 模拟突触传递强度的个比例系数, 表示突触后 信号的空间累加；表示神经元的阈值，表示神 经元的响应函数。该模型的数学表达式为：与生物神经元的区别:n(1)生物神经元传递的信息是脉冲，而上述 模型传递的信息是模拟电压。n(2)由于在上述模型中用一个等效的模拟电 压来模拟生物神经元的脉冲密度，所以在 模型中只有空间累加而没有时间累加(可 以认为时间累加已隐含在等效的模拟电压 之中)。n(3)上述模型未考虑时延、不应期和疲劳等 。响应函数 的基本作用：n1、控制输入对输出的激活作用；n2、对输入、输出进行函数转换；n3、将可能无限域的输入变换成指定的有限 范围内的
4、输出。 根据响应函数的不同，人工神经 元有以下几种类型：阈值单元n响应函数如图a所示,线性单元 n其响应函数如图b所示非线性单元常用响应函数为S型(Sigmoid)函数，如图c 、d所示nHardlim x=0 y=1;x=0 y=1; x1 y=1;x=0nLogsig:y=人工神经网络的构成 n单个神经元的功能是很有限的，人工神经 网络只有用许多神经元按一定规则连接构 成的神经网络才具有强大的功能。n神经元的模型确定之后，一个神经网络的 特性及能力主要取决于网络的拓扑结构及 学习方法。 人工神经网络连接的基本形 式： 1前向网络 n网络的结构如图所示。 网络中的神经元是分层 排列的，每个神
5、经元只 与前一层的神经元相连 接。最右一层为输出层 ，隐含层的层数可以是 一层或多层。前向网络 在神经网络中应用很广 泛，例如，感知器就属 于这种类型。2. 反馈前向网络n网络的本身是前向型 的，与前一种不同的 是从输出到输入有反 馈回路。内层互连前馈网络n通过层内神经元之间的 相互连接，可以实现同 一层神经元之间横向抑 制或兴奋的机制，从而 限制层内能同时动作的 神经数，或者把层内神 经元分为若干组，让每 组作为一个整体来动作 。一些自组织竞争型神 经网络就属于这种类型 。互连网络 n互连网络有局部互连和 全互连两种。全互连网 络中的每个神经元都与 其他神经元相连。局部 互连是指互连只是局部
6、 的，有些神经元之间没 有连接关系。Hopfield 网络和Boltzmann机属 于互连网络的类型。神经网络的学习方式n有教师学习(监督学 习)(1)均方误差mse(mean squared error)n误差信号的不同定义 :(2)平均绝对误差mae (mean absolute error)(3)误差平方和sse(sum squared error)无教师学习(无监督学习)MATLAB工具箱中的神经网络结 构 1.人工神经元的一般模型在中，令，,则人工神经元的一般模型n由此构成人工神经元的一般模型，如下图所 示。上式可写成矩阵向量形式：a=f(Wp+b)由S个神经元组成的单层网络 MAT
7、LAB工具箱中的神经网络结 构多层网络的简化表示:MATLAB神经网络工具箱中的 神经网络模型基本概念:n标量:小写字母,如a,b,c等;n列向量:小写黑体字母,如a,b,c等,意为一列 数;n矩阵向量:大写黑体字母,如A,B,C等权值矩阵向量W(t)n标量元素 ,i为行,j为列,t为时间或迭 代函数n列向量n行向量阈值向量b(t)n标量元素 ,i为行,t为时间或迭代函数网络层符号n加权和: ,m为第m个网络层, 为第 个神经元,n为加权和n网络层输出: , m为第m个网络层, 为第 个神经元,a为输出n输入层权值矩阵 ,网络层权值矩阵 , 其中,上标k,l表示第l个网络层到第k个网络层的连接
8、权值矩阵向量例: 表示输入向量的第R个 输入元素到输入层的第 个神 经元的连接权.n 表示n 表示第i个网络层的第 个神经元的阈值例:n1为为第一层层神经经元的中间间运算结结果,即连连接权权向 量与阈值阈值 向量的加权权和,大小为为,即a1为为第一层层神经经元的输输出向量,大小为为,n神经网络的层数为神经元网络层的数目加 1,即隐层数目加1.多层神经网络结构多层网络简化形式图中:说明:n输入层神经元的个数决定IW的行数,输入 向量元素的个数决定IW的列数,即S1行R 列.4.公式和图形中的变量符号在编 程代码中的表示方法n细胞矩阵:将多个矩 阵向量作为细胞矩阵 的”细胞”(Cell),细胞 矩
9、阵的各个元素值为 对应细胞的大小和数 值类型,n访问元素:m1=n1,1=m2=n2,1=n2,1(4)=5变量符号在MATLAB中的表 示n(1)上标变量以细胞矩阵(Cell array)即大括 号表示p1=1n(2)下标变量以圆括号表示,p1=p(1), ,例: =神经网络工具箱常用函数列 表重要的感知器神经网络函数：n初始化：initpn训练：trainpn仿真：simupn学习规则： learnp线性神经网络函数n初始化：initlinn设计：solvelinn仿真：simulinn离线训练：trainwhn在线自适应训练：adaptwhn学习规则：learnwhBP网络函数：nini
10、tff： 初始化不超过3层的前向网络；nsimuff：仿真不超过3层的前向网络；ntrainbp，trainbpx，trainlm：训练BP trainbp：最慢； trainbpx：次之； trainlm：速度最快，但需要更多的存储空间。nlearnbp： 学习规则自组织网络n初始化：initsmn仿真： simucn训练： trainc：利用竞争规则训练trainsm：利用Kohonen规则训练反馈网络（Hopfield网络）n仿真：simuhopn设计：solvehopnsolvehop设计Hopfield网络nsolvelin设计线性网络nrands产生对称随机数nlearnbp反向传
11、播学习规则nlearnhHebb学习规则nlearnp感知层学习规则nlearnwhWidrowHoff学习规则ninitlin线性层初始化ninitp感知层初始化ninitsm自组织映射初始化nplotsm绘制自组织映射图ntrainbp利用反向传播训练前向网络ntrainp利用感知规则训练感知层ntrainwh利用WidrowHoff规则训练线性层ntrainsm利用Kohonen规则训练自组织映射神经网络例子 创建线性神经网络层net = newlin(1 3;1 3,1); net.IW1,1 = 1 2; net.b1 = 0; 设有数据集由4个向量组成 p1=1 2 p2= 2 1 p3=2 3 p4=3 1P=1 2 2 3;2 1 3 1 A = sim(net,P) A = 5 4 8 5n例2:See P14 in textbookn例3:See P39n例4: See P40
