《神经网络理论在数学建模中的应用》由会员分享，可在线阅读，更多相关《神经网络理论在数学建模中的应用（13页珍藏版）》请在金锄头文库上搜索。
1、华南农业大学数学建模专题讲座 1 人工人工神经网络在数学建模中的应用神经网络在数学建模中的应用 华南农业大学理学院华南农业大学理学院 曾庆茂 联系方法：联系方法： （1）手机：）手机：13570532655 （2）电话：）电话：02038294591 （3）电子邮箱：）电子邮箱： 华南农业大学数学建模专题讲座 2 第一部分第一部分 人工神经网络理论人工神经网络理论基础基础 1什么是什么是神经网络神经网络？ 人工神经元网络，简称神经网络，是一种旨在模仿人脑结构及其功能的信息处理系统， 是由大量的人工神经元按照一定的拓扑结构广泛互连形成的，并按照一定的学习规则，通过对大量样本数据的学习和训练，把网
2、络掌握的“知识”以神经元之间的连接权值和阈值的形式储存下来， 利用这些“知识”可以实现某种人脑功能的推理机。 2 2神经网络的三个要素神经网络的三个要素 一个神经网络的特性和功能取决于三个要素： 一是构成神经网络的基本单元神经元；二是神经元之间的连接方式神经网络的拓扑结构；三是用于神经网络学习和训练，修正神经元之间的连接权值和阈值的学习规则。 2.1 神经元神经元 神经元是构成神经网络的基本单位。 在人工神经网络中， 神经元常被称为 “处理单元” 。有时从网络的观点出发把它称为“节点” 。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生
3、物神经元的结构和功能进行模拟，并用模型图给以表达。 华南农业大学数学建模专题讲座 3 神经元的数学模型为： (1)iitxyf1( )nijji jw y tf如果令01y ，0iiw，则有00iiy w，上式可写为 0(1)( )niijj jixw yy tfft 若令012(,)Tjiiiinww wwW，012( ),( ),( ),( )T ny ty ty ty tX，则上式可进一步写成 (1)T ijiy tf xfW X 通过以上对人工神经元模型的分析， 我们知道神经元中的激发函数决定了神经元的特性。常用的转移函数有： （1）阈值函数 10( )00xf xx； （2）线性函数
4、 ( )f xkx ； （3）对数 Sigmoid 函数 1( )1xf xe； （4）正切 Sigmoid 函数 1( )tanh( )1xxef xxe； （5）高斯函数 22/( )xf xe 。 2.2 神经神经网络的拓扑结构网络的拓扑结构 单个的人工神经元的功能是简单的， 只有通过一定的拓扑结构将大量的人工神经元广泛连接起来，组成庞大的人工神经网络，才能实现对复杂信息的处理与存储，并表现出各种优越的特性。根据神经元之间连接的拓扑结构上的不同，可华南农业大学数学建模专题讲座 4 将神经网络结构分为两大类，即层次型结构和互连型结构。 （1）层次型拓扑结构 层次型结构的神经网络将神经元按功
5、能分为若干层，一般有输入层、中间层和输出层，各层顺序连接，如图 2 所示。输入层接受外部的输入信号，并由各输入单元传递给直接相连的中间层各单元。中间层是网络的内部处理单元层，与外部没有直接连接。神经网络所具有的模式变换能力，如模式分类、模式完善、特征提取等，主要是在中间层进行的。根据处理功能的不同，中间层可以有多层也可以没有。由于中间层单元不直接与外部输入输出打交道，故常将神经网络的中间层称为隐含层。 输出层是网络输出运行结果并与显示设备或执行机构相连接的部分。 图 2 典型层次型结构的神经网络模型 （2）互连型拓扑结构 互连型结构的神经网络是指网络中任意两个单元之间都是可以相互连接的，如图
6、3 所示。例如，Hopfield 网络、波尔茨曼机模型结构均属于此类型。 图 3 互连型结构神经网络模型 华南农业大学数学建模专题讲座 5 2.3 神经网络的学习规则（算法）神经网络的学习规则（算法） 一般认为， 生物神经网络的所有功能(包括记忆)都存储在神经元和它们之间的联系当中。学习可以看成是神经元之间新连接的建立或对现有连接的修正。为此， 神经元按一定的拓扑结构连接成神经网络后，还必须通过一定的学习规则或算法，对神经元之间的连接权值和阈值进行修正和更新。 神经网络的学习算法或规则有很多，根据一种广泛采用的分类方法，可将神经网络的学习算法或规则分为三类： 第一类是有导师学习， 第二类是无导
7、师学习，第三类是死记式学习。 有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络提供一个输入模式和一个期望网络正确输出的模式， 称为“教师信号” 。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的输出不符时，根据差错的方向和大小按一定的规则调整连接权值和阈值，以使下一次网络的输出更接近期望结果。对于有导师学习，网络在能执行工作任务之前必须先学习，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据中包含的知识规则，可以用来工作。 无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态输入信息
8、。网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整连接权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。 应该指出的是在有导师学习中，提供给神经网络学习的外部指导信息越多，神经网络学会并掌握的知识越多，解决问题的能力也就越强。但是，有时神经网络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义了。 死记式学习是指网络事先设计成能记忆特定的例子， 以后当给定有关该例子的输入
9、信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此学习是一次性的，而不是一个训练过程。 华南农业大学数学建模专题讲座 6 常用的学习算法或规则有： （1）Hebbian 学习规则； （2）（Delta）学习规则； （3）Widrow-Hoff 学习规则； （4）概率式学习； （5）Winner-Take-All(胜者为王)学习规则； （6）Outstar（外星）学习规则等等。 （详见参考文献1复印资料） 3数学建模中常用的数学建模中常用的两种两种神经网络神经网络 在数学建模中，常用的神经网络主要有两种：一种是基于误差反传算法的前馈神经网络，即 BP 神经网络，主要用来
10、实现非线性映射；另一种是自组织神经网络，主要用来聚类和模式识别。 3.1 BP 神经网络神经网络及其及其 MATLAB 实现实现（参见文献2复印资料） 3.2 自组织自组织神经网络及其神经网络及其 MATLAB 实现实现（参见文献2复印资料） 第第二二部分部分 神经网络在数学建模中的应用举例神经网络在数学建模中的应用举例 1 BP 神经网络神经网络在数学建模中的应用举例在数学建模中的应用举例（电子电路的故障诊断问题电子电路的故障诊断问题） 如下图，某一电子电路中有 3 个元器件，分别用 A1、A2、A3 表示。 就电子电路系统的某一特定的元器件来说，当系统正常工作时，其关键点的电压应是稳定的；
11、 在工作环境温度一定的情况下， 其芯片温度值也是一个稳定值。U3 A1 A3 A2 U1 U2 Ui1 Ui2 华南农业大学数学建模专题讲座 7 当电路中的元器件发生故障时，这些元器件的关键点的电压将会偏离正常范围，温度信号也会发生变化。因此，通过对电压和温度信号的测试，可以对元器件是否发生故障进行诊断。为此，我们选用探针和热像仪 2 个传感器来获取该电路中3 个元器件的故障特征：探针用来测电路中 3 个关键点的电压信号；热像仪用来测试 3 个元器件的工作温度信号。 假设我们通过试验已经获得多组试验数据，见下表： 温度和电压测试数据 序 号 电子电路中元器件的故障特征 诊断结果 电 压 温 度
12、 A1 A2 A3 U1 U2 U3 T1 T2 T3 1 9.00 4.01 7.81 10.41 11.33 11.25 1 0 0 2 10.51 6.50 6.35 11.01 10.30 11.21 0 1 0 3 10.40 3.99 4.32 11.11 11.10 10.54 0 0 1 4 6.65 2.05 7.52 10.70 11.61 11.45 1 0 0 5 7.40 3.25 6.72 11.40 10.81 11.45 0 1 0 6 7.41 2.06 4.03 11.60 11.61 10.70 0 0 1 7 5.05 3.45 2.75 11.81 1
13、2.60 12.55 1 0 0 8 5.45 4.40 1.90 12.32 11.60 12.45 0 1 0 9 5.44 3.55 1.80 12.50 12.41 11.80 0 0 1 10 8.50 3.65 8.50 11.80 12.66 12.55 1 0 0 11 9.55 5.20 7.40 12.40 11.85 12.55 0 1 0 12 9.56 3.65 5.50 12.60 12.46 11.74 0 0 1 13 7.70 2.45 9.05 12.30 13.12 13.12 1 0 0 14 8.65 4.07 7.75 12.90 12.21 13.
14、12 0 1 0 15 8.70 2.60 6.54 13.00 12.91 12.32 0 0 1 16 5.32 1.45 6.91 11.83 12.74 12.65 1 0 0 17 6.30 2.35 6.52 12.63 11.93 12.66 0 1 0 18 6.32 1.60 5.22 12.82 12.64 11.94 0 0 1 在上表中，Ui（i=1,2,3）分别表示 3 个元器件关键点的电压，Ti（i=1,2,3）分别表示 3 个元器件的工作温度。在表格中的输入部分，前三列是在 18 次取样试验中，传感器 1（探针）对 3 个元器件关键点所测得的电压值；后三列传感器2
15、 （热像仪） 对 3 个元器件所测得的工作温度值。 最后一列是在 18 次取样实验中，各元器件的故障设置情况，0 表示元器件工作正常，1 代表元器件出现故障，如1 0 0表示第 1 个元器件有故障，第 2、3 个元器件工作正常。 试根据以上数据建立一个故障诊断模型， 并利用这个模型进行电子电路故障诊断。 华南农业大学数学建模专题讲座 8 （1 1） 问题的分析问题的分析 问题中给出了 18 组数据，每组数据给出了 6 个故障特征信息，并给出了它们所对应元器件的故障诊断情况。所以，本问题的实质是找出从故障特征信息集合元器件故障状态集合的映射关系， 用数学表达式来表示就是要找到一个对应法则 f，使得： 123123123:(,)(,)fU U U T T TA A A 显然，这是一个从 6 维空间到 3 维空间的映射关系，这种关系难以用数学公式写出来。为此，我们考虑用 BP 神经网络来实现这一映射关系，即把这个故障诊断问题的的数学模型建立成一个 BP 神经网络模型，并利用这个建立好的神经网络模型进行故障。 （2 2） 模型的建立模型的建立 Kolmogorov 理论指出：具有单个隐含层的 BP 神经网络可以映射所有连续函数，而具有双隐含层的 BP 神经网络网可以映射任何函数（包括
