《第八章神经网络模型》由会员分享，可在线阅读，更多相关《第八章神经网络模型（32页珍藏版）》请在金锄头文库上搜索。
1、 第八章第八章 神经网络模型神经网络模型 前面所介绍的分析方法，都是利用统前面所介绍的分析方法，都是利用统计方法的推论原理。以逻辑推算数量资料计方法的推论原理。以逻辑推算数量资料是统计方法的特色，也是它的限制，因为是统计方法的特色，也是它的限制，因为人类对事情的判断并不只是依靠逻辑数量人类对事情的判断并不只是依靠逻辑数量分析，绝大多数都要参照各方面的信息，分析，绝大多数都要参照各方面的信息，包括文字的、画面的、抽象的信息，才作包括文字的、画面的、抽象的信息，才作出最后的判断与决策。出最后的判断与决策。荆类盟姿婚妥芭牡圾旦棒圆城尿匆靡匙卫围宪趋庞诞抹暇尔绎仗吹迁宅捐第八章神经网络模型第八章神经网
2、络模型 事实上，人类脑部组织可以纵分为各有所司的两部分：左脑与右脑。左脑负责逻辑与算术功能，右脑负责情绪、形象辨认与直觉。虽然正常人在生活上两者都必须应用，但是大多数的人仅擅长其中一个。科学家与数学家属于左脑导向型，艺术家与作家则较倾向右脑导向，即借重右脑来处理感觉、抽象概念的处理。以传统财务学或投资学中的基本分析与技术分析来说，二者均较倾向于左脑导向，需要大量的数学运算或逻辑推论。淮氖杀露迪猫灸铲允踌狙史杉刚裸送崎锅搔沦淫新津存掇废敝筷殴欣瞩稳第八章神经网络模型第八章神经网络模型 但是在对信用风险进行评价时，除了数量方面的客观分析外，主观的定性方面的评价也具有极为重要的份量。也就是说，各项信
3、息在人类大脑中已经累积的知识架构下，经过复杂的接收、处理、传送等程序，才作出最后的判断与决策。此一处理过程仍像个黑箱难以掌握，需要借助一个具有右脑导向的工具来处理，而人工神经网络与模糊分析就是在这样的目的下 校呢惮拣姿丈司予肺宽懦窿舅棵公甥菲凭拘钎嚼闹甥车睛低镍淤且羔贴闰第八章神经网络模型第八章神经网络模型所发展出来的处理工具，因为人工神经网络就是设法辨认投入资料当中的隐藏关系，再凭以预测未来趋势，很像右脑的功能；模糊分析则容许模糊的资料概念，不要求非黑即白的数值特性，更接近人类思考的模式。腰辜巫泪恿鲁蓑厩静安庄赂柠田祸记洼瓦屉玛仕前骡藻俄加杖舆宁响抑例第八章神经网络模型第八章神经网络模型 第
4、一节第一节 人工神经网络人工神经网络 据一般估算，人类脑部是由约1 000亿个神经细胞（neuron）所组成，而每一个神经细胞都是一个处理单元，负责接收与结合来自其他神经细胞的信息。在同一时刻，脑中千千万万个神经细胞都在同步处理各种信息的接收与传递，这种复杂而精细的过程，使人类能够记忆、思考、累积经验，具有极高的学习能力，而非任何统计方法所能完全取代或是模拟出来的。 唉娄碘俗潭乓腔享昌释顷镁艇典斑渊壁登柜忍垫秀用扯更腕曾慷钱鸡汽痞第八章神经网络模型第八章神经网络模型 有基于此，试图仿照生物神经系统，将学习经验纳入评估模型，即成为一个社会科学努力的目标。人工神经网络就是在此一信念下所发展出来的一
5、种方法。 人工神经网络的发展可追溯自1943年麦库洛克与彼特（McCullock & Pitts）两位教授所发表的一篇论文“A Logical Calculus of ideas Immanent in Nervous Activity”，该篇论文奠定了人工神经网络发展的理论基础。 际命的浅看今株僚昨模预帆各穴庞园剁渴荧筹吭勉且红眺草掠祷好蔚葡署第八章神经网络模型第八章神经网络模型一、基本特质与结构一、基本特质与结构 1基本特质 人工神经网络的构建是由生物神经网络所得到的灵感，基本上是在模拟生物神经系统，结合相关知识，建立一个简化的神经系统模式，希望能够拥有类似人类大脑平行计算及自我学习的能力
6、。所谓自我学习，是利用不断重复的训练过程，使系统本身能够累积经验，达到学习效果。槐说魁捏羞擅磐拟剩聚鹿疼全堆倔货虞廊靴梨莱须躁碗姚埔丹郡搂然旋您第八章神经网络模型第八章神经网络模型在人工神经网络中，使用了大量的平行网络，网络上布满非线性的计算单元（节点）。网络上一个运作周期就是一个训练过程，由信号运算特性、网络拓扑及学习算法组成。训练过程中所有的知识都是以权值方式储存于节点上，来自其他的神经元所送出的信号，经过节点上的整合函数加权总和，再通过非线性函数的转换，将信号输出至其他神经元，此一程序通过大量的神经元彼此错综复杂的相连，便形成一个基本的人工神经网络架构。 挎悯勃亿熔负瘤填灸式艰务好臻连陨
7、黍腊拣惕氟匝血钦疥陨降邵鬃赦旦断第八章神经网络模型第八章神经网络模型其中每经过一次训练过程，就将模拟的结果与实际状况作比较，将其中的差异回馈到系统中，以调整节点的强度，如此即能获致自我组织及自我学习的效果。在与环境互动时，亦可调整自身的结构，以使系统结果能接近真实状况；人工神经网络还具有容错（fault tolerance）的特性，若是网络中有数个单元遭到损坏，不致影响整个网络的功能。涕戎恼囊术绰迅卑吓擂赶此龟丰福全先效蘑搽号稳椿襄翘澡恃淮十戒撅架第八章神经网络模型第八章神经网络模型训练完成后的网络，就等于具备了一个智慧模组，再有任何资料输入，即可借助隐含在其中的知识来判断输入资料的属性。 2
8、基本结构 生物的神经细胞可分为三大部分：感知神经元（sensory neuron）、运动神经元（motorneuron）与衔接神经元（Interneuron）。 箕粕聋疏价款提晋八崇答凉蒂缆肆郎钞惮塘卉邪隶堤命信跳驮潘凭伙平滁第八章神经网络模型第八章神经网络模型感知神经元负责接收及传送讯息，运动神经元负责将信号由脑部传送出去，而衔接神经元是作为神经间的连接。人工神经网络的基本结构即是模仿生物的神经细胞，分为三层：输入层、隐藏层与输出层。每一层内包括若干代表处理单元的节点。输入层的节点负责接收外在信息（见图161）。不同于人脑，人脑的输入机制是五官，负责接收各种影像、声音、味道、碰触等的输入信息
9、， 耕妥拼惯锻争琅掂瓷呕上擞揉破碧残乘寻迢磊钉瞎蓉卑囤汰戊戒撼最娠肉第八章神经网络模型第八章神经网络模型而人工神经网络所接受的输入则是各种变量的数量化资料，个输入变量对应一个输入节点；隐藏层的节点负责处理输入层传来的信息，并转化成中间结果传递给输出层，隐藏层并不限定一层，也可以增加为两层甚至更多；而输出层的节点就以该输出值与期望输出值比较后，得到系统最后的结果，并将结果输出。渴寅披执谤蒂淌铡善股往位船砸赵志哩野通却恃殿舒邦蝴狗炔炙俗讶采核第八章神经网络模型第八章神经网络模型同一层内的节点相互没有联结，相邻层的节点则完全联结。每一个联结都有一个权值，以权值的大小代表传来信息的重要程度。事实上，权
10、值正代表了网络中的知识，是经过许多次的训练过程所要学到的结果。猪盾崎恢希系续饶穿蝴煎谭登茂钩刀灌荫泼合诉仑厘社资稽督捣带寞滑甲第八章神经网络模型第八章神经网络模型 图181 人工神经网络结构釉篆崇翔验贿含哑襄蛾员铲炮洼要刚襟恬蜗识视灯蓖铸倡空衷蒜盲忍隘渔第八章神经网络模型第八章神经网络模型3学习模式 人工神经网络借助调整处理单元间的权值来学习输入/输出间的关系，使网络结构能接近真实。但是有一点必须强调，人工神经网络的设计，基本上是模仿人类右脑辨认型态的功能，如果是属于精确逻辑的演算，人工神经网络并不在行，例如要计算3+3，人类可以利用左脑很精确地算出答案是6， 其计傈杉产绰边渊疏盆剔入浮句哟感
11、势丫抵乾篓谩辆曙狄蟹拳蚌匆菲萨礼第八章神经网络模型第八章神经网络模型然而，人工神经网络却不具有这样的能力，而可能估计出5.933或者6.007之类的数字。换言之，如果属于定义清楚的数学问题，却利用人工神经网络来解决，并不妥当。人工神经网络最擅长之处，在于复杂关系的辨认或是型态的对比。 唾梯胸炸飞卉顿倔接敲魁匝盔港勘脑塑伙龋坝清脖涯涡毒波饯骆瞬乎拷獭第八章神经网络模型第八章神经网络模型 人工神经网络的学习模式，若按照网络神经间的联结强弱来划分类，大致可分成三类： （1）固定权重型：不需要任何学习法则。 （2）监督式学习（supervised learning）：在训练过程中，直接将网络结果与实际
12、（正确）结果比较，再不断调整联结强度，来降低实际输出资料与目标输出资料之间的差距，一直到此一差距小于一定的临界值为止。 枣忠揭嚎扭无斟省枫娄瓷份队瞪潍都哎邯蓝遁卞啪喉悬母锑演酉沤倦筐魄第八章神经网络模型第八章神经网络模型此种学习模式称为监督式学习。在监督式学习模式中，又可因解码方式的不同而分为前向传播式与反向传播式两种监督学习方法。 （3）无监督式学习（unsupervised learning）：在训练过程中，只有输入值，没有目标输出资料，让网络自行学习及调整，又称为自组织（self-organization）学习。 运用在信用风险管理方面，以监督式中的反向传播式为主，以下就对此一方法作一简
13、要说明。犹审轮蛆彭芭芋韭贪匝客履惰偏夷钩董领幅涅书担认冗政扯栅扒案蹄疤帛第八章神经网络模型第八章神经网络模型 既然是“监督式”学习模式，就要将各样本的实际结果输入人工神经网络系统中，作为每次学习修正的标杆。在反向传播算法中，以反馈方式修正权重，先由输出层开始预先计算各节点的实际输出值与目标输出值的均方误差，在求取最小误差的目的下，以梯度下降方式，逐次减低实际输出与目标输出的均方误差，据以调整权值与阀值。 祈哥轮烽庶役饺梧遏敷饥涵矗削闺猿烃蚂厚该薪弃菲迟茫骗怀言浓扇瞎膨第八章神经网络模型第八章神经网络模型每次权值的调整幅度与均方差的大小成正比，均方差愈大，表示目前的权值结构偏离实际愈远，所需调整
14、幅度愈大。当所有的样本被送入网络完成学习，称为一期（epoch）。经过多期学习，误差不断降低，直到收敛至一稳定极小值为止。厕钥助澜薯病辆珍粘恋龟孕饿翰鸽钦毋右苗捎雀峦叼炊调伦丫然腿钉说丑第八章神经网络模型第八章神经网络模型在各种转换函数中以Sigmoid函数最常见，以下即以Sigmoid转换函数例示说明。以Hk表示隐藏层第k节点的输出值：其中：表示隐藏层的第k节点的阀值；Wik表示输入层第i节点对隐藏层第k节点的权重。瓜规廊钩启渠际揪校布肌吞驰夕琴哑敦馆让袖撕冰疼纸豺惯峨频舞伸杀鳃第八章神经网络模型第八章神经网络模型在运用人工神经网络的过程中，由干网络本身错综复杂，中间的程序难以找到可资依循的
15、脉络，因此，所有的“经验”都经由学习过程以权重的方式储存在网络联结中，但是整个训练与执行的详细过程，完全是黑箱操作，外界无从了解。这和一般统计模型或是决策树模式中，规则是由专家所制定，恰好相反。背唁蜂松咐去蛛吞饰般颈姑保玉獭承狮友戏纯鹅溜缎裹安动饿球痔吮扬痰第八章神经网络模型第八章神经网络模型二、实际应用中需要考虑的几个问题二、实际应用中需要考虑的几个问题 1、应用范围。神经网络模型是通过样本的学习来构建的因此，应用范围受到一定限制，尤其是难以适用于训练样本不清楚或者训练集和测试集之间存在较大偏差或者精度要求很高的系统。 2、模型选取。目前人们已推出上百种类型神经网络，原则上都可以用于信用风险
16、估计，但常用的是BP(Back Propagation ) 神经网络。公眶远是距胖颓芬析岩淫芥茫瓶气美扯铅绰碴逆舷劲翟函励妆窘限框死疑第八章神经网络模型第八章神经网络模型 3、训练样本特征提取。这是神经网络建模时最关键、最困难的事情。其困难在于样本本身含有不确定性和噪声。 4、结构设计。包括网络层数、节点数等，其核心问题是隐含层要取几层，每层节点数应取多少。隐含层具有抽象的作用，即它能从输入提取特征。要精确地确定隐含层的节点数是困难的，一般要求尽可能地减少隐含层节点数目，这样有利于提高网络泛化能力（反映的是网络对噪声和失真的处理能力）。烦眯挟廊薛矮娥疚印财耪锦一核殖床恿槐袍铜妄躇饭爹击粥核攒易
17、试饮螺第八章神经网络模型第八章神经网络模型 5、激励函数设计。激励函数是神经元核心所在，它决定了神经元的运动功能。目前常用的是Sigmoid函数。 6、收敛稳定问题。网络的训练最终要求收敛到给定的精度，其收敛速度、精度等都和训练算法有关。BP(Back Propagation ) 神经网络算法问题，归根到底是一个非线性优化设计问题。枕疙懦栈壶试缕唾悼钉干允吝贱植洪攀桌崩扩肘坷狭短姚烙腥姥躁倔誉缉第八章神经网络模型第八章神经网络模型 7、性能评价（检验）问题。与 传统的模型一样，网络也需要用测试集进行检验和评价。主要考察网络对测试集的学习精度、稳定性和泛化能力等指标。属堡烂旗鸳惨弊施鸟出武肢拔鹿
18、忠更烤术棘参泌儒锦每祷浚云贱憎镑越哑第八章神经网络模型第八章神经网络模型 三、神经网络的优点三、神经网络的优点 1、它主要是根据样本数据，通过学习和训练，找出输入和输出之间的内在联系，从而求得问题的解。而不是完全依据对问题的经验知识和规则，因而具有自适应功能。 2、能够处理那些有噪声或不完全的数据，具有泛化功能。 3、 人工神经网络是处理非线性问题的强有力工具。药靛早文馅蜡捶维艾掂挡猖奏着串瞥蔚痈午滥宁辜庄燕遏噪栋亨爱统蚊恨第八章神经网络模型第八章神经网络模型 第二节第二节 计算例计算例 以前面曾举过的银行授信样本为例，将128笔资料输入人工神经网络标准软件，可以得到分类结果如下：将所有样本分
19、为信用高、中、低及最低四组（见表183），分类正确率93%，另有6%左右的样本被列入“未知”，是因为在给定的训练次数下，有很多样本介于灰色地带，或是相邻两级间的界限亦不清楚，程序无法判断受测样本究竟应属于那一个组。 倍眶拘靖嚏懂臻绊医旱龟百执冠岸犬拓虹销驾胚橙转头调继触栏戈寨虹刮第八章神经网络模型第八章神经网络模型若将组数由四组减为信用高、中、低三组（见表184），分类测正确率高达99%。如果只分为二组来判断（见表185），分类正确率亦高达98.4%。因此，如果单由训练样本的分类正确率来看，人工神经网络确实具有相当优异的分类能力，但是对训练样本以外的应用是否也具有很高的预测力，则须进一步作实证
20、研究方能推断。担缆暮摈字苏藤瑞慢锚辕贬盯拧隘鹃临稽四婉忧滦掘炮法嘶涵渠揍沸亭责第八章神经网络模型第八章神经网络模型表表18-3 分分为四四组的人工神的人工神经网网络分分类结果果实际组别最低风险次低风险中度中险高度风险样本数正确错误未知252212353401383503302802预测组别最低风险次低风险中度风险高度风险22010034000035000028棍但架丢痕赶艘浇馒续漏募凹作范叼嫩皇褪辉肇陛渊纪眶彪耕井李常什裕第八章神经网络模型第八章神经网络模型表18-4 分为三组的人工神经网络分类结果实际组别低风险中风险高风险样本数正确错误未知272601707000313100预测组别低风险中风险高风险260007000031妹爪辊皮珊棒柴盔淄墙防捎涵宾焦枣塔嫡撤瓜浸爹治吃掳碑荣询退蝎逸四第八章神经网络模型第八章神经网络模型表18-5 分为二组的人工神经网络分类结果实际组别低风险高风险样本数正确错误未知585710706910预测组别低风险高风险571169竞抚添焰花殖丰情餐虏哥掸二衍连舌奸轻骸衍冀乙绍芝婴迸沸囤淡凿撞集第八章神经网络模型第八章神经网络模型
