神经网络模型

《神经网络模型》由会员分享，可在线阅读，更多相关《神经网络模型（32页珍藏版）》请在金锄头文库上搜索。

1、 第八章 神经网络模型前面所介绍的分析方法，都是利用统 计方法的推论原理。以逻辑推算数量资料 是统计方法的特色，也是它的限制，因为 人类对事情的判断并不只是依靠逻辑数量 分析，绝大多数都要参照各方面的信息， 包括文字的、画面的、抽象的信息，才作 出最后的判断与决策。事实上，人类脑部组织可以纵分为各 有所司的两部分：左脑与右脑。左脑 负责逻辑与算术功能，右脑负责情绪 、形象辨认与直觉。虽然正常人在生 活上两者都必须应用，但是大多数的 人仅擅长其中一个。科学家与数学家 属于左脑导向型，艺术家与作家则较 倾向右脑导向，即借重右脑来处理感 觉、抽象概念的处理。以传统财务学 或投资学中的基本分析与技术分

2、析来 说，二者均较倾向于左脑导向，需要 大量的数学运算或逻辑推论。但是在对信用风险进行评价时，除 了数量方面的客观分析外，主观的定 性方面的评价也具有极为重要的份量 。也就是说，各项信息在人类大脑中 已经累积的知识架构下，经过复杂的 接收、处理、传送等程序，才作出最 后的判断与决策。此一处理过程仍像 个黑箱难以掌握，需要借助一个具有 右脑导向的工具来处理，而人工神经 网络与模糊分析就是在这样的目的下 所发展出来的处理工具，因为人工 神经网络就是设法辨认投入资料当 中的隐藏关系，再凭以预测未来趋 势，很像右脑的功能；模糊分析则 容许模糊的资料概念，不要求非黑 即白的数值特性，更接近人类思考 的模

3、式。第一节 人工神经网络据一般估算，人类脑部是由约1 000亿个 神经细胞（neuron）所组成，而每一个神 经细胞都是一个处理单元，负责接收与结 合来自其他神经细胞的信息。在同一时刻 ，脑中千千万万个神经细胞都在同步处理 各种信息的接收与传递，这种复杂而精细 的过程，使人类能够记忆、思考、累积经 验，具有极高的学习能力，而非任何统计 方法所能完全取代或是模拟出来的。 有基于此，试图仿照生物神经系统， 将学习经验纳入评估模型，即成为一个 社会科学努力的目标。人工神经网络就 是在此一信念下所发展出来的一种方法 。人工神经网络的发展可追溯自1943年 麦库洛克与彼特（McCullock & Pit

4、ts） 两位教授所发表的一篇论文“A Logical Calculus of ideas Immanent in Nervous Activity”，该篇论文奠定了人工神经网 络发展的理论基础。 一、基本特质与结构1基本特质人工神经网络的构建是由生物神经网 络所得到的灵感，基本上是在模拟生物神 经系统，结合相关知识，建立一个简化的 神经系统模式，希望能够拥有类似人类大 脑平行计算及自我学习的能力。所谓自我 学习，是利用不断重复的训练过程，使系 统本身能够累积经验，达到学习效果。在人工神经网络中，使用了大量的平行 网络，网络上布满非线性的计算单元（ 节点）。网络上一个运作周期就是一个 训练过程，

5、由信号运算特性、网络拓扑 及学习算法组成。训练过程中所有的知 识都是以权值方式储存于节点上，来自 其他的神经元所送出的信号，经过节点 上的整合函数加权总和，再通过非线性 函数的转换，将信号输出至其他神经元 ，此一程序通过大量的神经元彼此错综 复杂的相连，便形成一个基本的人工神 经网络架构。 其中每经过一次训练过程，就将模拟的 结果与实际状况作比较，将其中的差异 回馈到系统中，以调整节点的强度，如 此即能获致自我组织及自我学习的效果 。在与环境互动时，亦可调整自身的结 构，以使系统结果能接近真实状况；人 工神经网络还具有容错（fault tolerance）的特性，若是网络中有数个 单元遭到损坏

6、，不致影响整个网络的功 能。训练完成后的网络，就等于具备了一个 智慧模组，再有任何资料输入，即可借 助隐含在其中的知识来判断输入资料的 属性。2基本结构生物的神经细胞可分为三大部分：感 知神经元（sensory neuron）、运动神 经元（motorneuron）与衔接神经元（ Interneuron）。 感知神经元负责接收及传送讯息，运动 神经元负责将信号由脑部传送出去，而 衔接神经元是作为神经间的连接。人工 神经网络的基本结构即是模仿生物的神 经细胞，分为三层：输入层、隐藏层与 输出层。每一层内包括若干代表处理单 元的节点。输入层的节点负责接收外在 信息（见图161）。不同于人脑，人 脑

7、的输入机制是五官，负责接收各种影 像、声音、味道、碰触等的输入信息， 而人工神经网络所接受的输入则是各种变 量的数量化资料，个输入变量对应一个 输入节点；隐藏层的节点负责处理输入层 传来的信息，并转化成中间结果传递给输 出层，隐藏层并不限定一层，也可以增加 为两层甚至更多；而输出层的节点就以该 输出值与期望输出值比较后，得到系统最 后的结果，并将结果输出。同一层内的节点相互没有联结，相 邻层的节点则完全联结。每一个联 结都有一个权值，以权值的大小代 表传来信息的重要程度。事实上， 权值正代表了网络中的知识，是经 过许多次的训练过程所要学到的结 果。图181 人工神经网络结构3学习模式人工神经网

8、络借助调整处理单元间 的权值来学习输入/输出间的关系，使 网络结构能接近真实。但是有一点必 须强调，人工神经网络的设计，基本 上是模仿人类右脑辨认型态的功能， 如果是属于精确逻辑的演算，人工神 经网络并不在行，例如要计算3+3， 人类可以利用左脑很精确地算出答案 是6， 然而，人工神经网络却不具有这样的能 力，而可能估计出5.933或者6.007之类 的数字。换言之，如果属于定义清楚的 数学问题，却利用人工神经网络来解决 ，并不妥当。人工神经网络最擅长之处 ，在于复杂关系的辨认或是型态的对比 。 人工神经网络的学习模式，若按照网 络神经间的联结强弱来划分类，大致 可分成三类：（1）固定权重型：

9、不需要任何学 习法则。（2）监督式学习（supervised learning）：在训练过程中，直接将 网络结果与实际（正确）结果比较， 再不断调整联结强度，来降低实际输 出资料与目标输出资料之间的差距， 一直到此一差距小于一定的临界值为 止。 此种学习模式称为监督式学习。在监督式 学习模式中，又可因解码方式的不同而分 为前向传播式与反向传播式两种监督学习 方法。（3）无监督式学习（unsupervised learning）：在训练过程中，只有输入值， 没有目标输出资料，让网络自行学习及调 整，又称为自组织（self-organization）学 习。运用在信用风险管理方面，以监督式中 的反

10、向传播式为主，以下就对此一方法作 一简要说明。既然是“监督式”学习模式，就要将各样本 的实际结果输入人工神经网络系统中，作 为每次学习修正的标杆。在反向传播算法 中，以反馈方式修正权重，先由输出层开 始预先计算各节点的实际输出值与目标输 出值的均方误差，在求取最小误差的目的 下，以梯度下降方式，逐次减低实际输出 与目标输出的均方误差，据以调整权值与 阀值。 每次权值的调整幅度与均方差的大小成正 比，均方差愈大，表示目前的权值结构偏 离实际愈远，所需调整幅度愈大。当所有 的样本被送入网络完成学习，称为一期（ epoch）。经过多期学习，误差不断降低 ，直到收敛至一稳定极小值为止。在各种转换函数中

11、以Sigmoid函数最常 见，以下即以Sigmoid转换函数例示说 明。以Hk表示隐藏层第k节点的输出值： 其中：表示隐藏层的第k节点的阀值； Wik表示输入层第i节点对隐藏层第k节点 的权重。在运用人工神经网络的过程中，由干网 络本身错综复杂，中间的程序难以找到 可资依循的脉络，因此，所有的“经验” 都经由学习过程以权重的方式储存在网 络联结中，但是整个训练与执行的详细 过程，完全是黑箱操作，外界无从了解 。这和一般统计模型或是决策树模式中 ，规则是由专家所制定，恰好相反。二、实际应用中需要考虑的几个问题1、应用范围。神经网络模型是通过 样本的学习来构建的因此，应用范围受 到一定限制，尤其是

12、难以适用于训练样 本不清楚或者训练集和测试集之间存在 较大偏差或者精度要求很高的系统。2、模型选取。目前人们已推出上百种 类型神经网络，原则上都可以用于信用 风险估计，但常用的是BP(Back Propagation ) 神经网络。3、训练样本特征提取。这是神经网 络建模时最关键、最困难的事情。其困 难在于样本本身含有不确定性和噪声。4、结构设计。包括网络层数、节点 数等，其核心问题是隐含层要取几层， 每层节点数应取多少。隐含层具有抽象 的作用，即它能从输入提取特征。要精 确地确定隐含层的节点数是困难的，一 般要求尽可能地减少隐含层节点数目， 这样有利于提高网络泛化能力（反映的 是网络对噪声和

13、失真的处理能力）。5、激励函数设计。激励函数是神经 元核心所在，它决定了神经元的运动功 能。目前常用的是Sigmoid函数。6、收敛稳定问题。网络的训练最终 要求收敛到给定的精度，其收敛速度、 精度等都和训练算法有关。BP(Back Propagation ) 神经网络算法问题，归根 到底是一个非线性优化设计问题。7、性能评价（检验）问题。与 传统 的模型一样，网络也需要用测试集进行 检验和评价。主要考察网络对测试集的 学习精度、稳定性和泛化能力等指标。三、神经网络的优点1、它主要是根据样本数据，通过学习 和训练，找出输入和输出之间的内在联系 ，从而求得问题的解。而不是完全依据对 问题的经验知

14、识和规则，因而具有自适应 功能。2、能够处理那些有噪声或不完全的数 据，具有泛化功能。3、 人工神经网络是处理非线性问题 的强有力工具。第二节 计算例以前面曾举过的银行授信样本为例， 将128笔资料输入人工神经网络标准软件 ，可以得到分类结果如下：将所有样本 分为信用高、中、低及最低四组（见表 183），分类正确率93%，另有6%左 右的样本被列入“未知”，是因为在给定的 训练次数下，有很多样本介于灰色地带 ，或是相邻两级间的界限亦不清楚，程 序无法判断受测样本究竟应属于那一个 组。 若将组数由四组减为信用高、中、低三 组（见表184），分类测正确率高达 99%。如果只分为二组来判断（见表18

15、 5），分类正确率亦高达98.4%。因 此，如果单由训练样本的分类正确率来 看，人工神经网络确实具有相当优异的 分类能力，但是对训练样本以外的应用 是否也具有很高的预测力，则须进一步 作实证研究方能推断。表18-3 分为为四组组的人工神经经网络络分类结类结 果实际组别最低风险次低风险中度中险高度风险样本数 正确 错误 未知25 22 1 235 34 0 138 35 0 330 28 0 2预测组别 最低风险 次低风险 中度风险 高度风险22 0 1 00 34 0 00 0 35 00 0 0 28表18-4 分为三组的人工神经网络分类结 果实际组别低风险中风险高风险样本数 正确 错误 未知27 26 0 170 70 0 031 31 0 0预测组别 低风险 中风险 高风险26 0 00 70 00 0 31表18-5 分为二组的人工神经网络分类结 果实际组别低风险高风险样本数 正确 错误 未知58 57 1 070 69 1 0预测组别 低风险 高风险57 11 69