《人工神经网络的构造性设计方法研究》由会员分享，可在线阅读，更多相关《人工神经网络的构造性设计方法研究（47页珍藏版）》请在金锄头文库上搜索。
1、南京大学研究生毕业论文中文摘要首页用纸毕业论文题 目 :人工 神经网 络的构造性设计方法研究信号与信息处理 专业 2 0 0 1级 硕士生姓名:王仲 宇指导教师 ( 姓名、职称 ) :刘红星副教授关键字:神经网络，构造性，D 工作时将各个子网的输出集成， 得出最终结果。 本部分详细讨论了如何系统有效的划分样本集， 如何 确定子样本集的个数， 如何集成以 得到网 络输出。 用典型分类问题双螺线问题对 D a l l o u t p u t so f t h e s u b s e t s a r e i n t e g r a t e d as t h e t o t a l A N N o u
2、 t p u t w h e n w o r k i n g . T h i s s e c t i o nd i s c u s s e s i n d e t a i l t h r e e p o i n t s : h o w t o d i v i d e t r a i n i n g s e t e f fi c i e n t l y a n d s y s t e m i c a l l y ,h o w t o d e t e r m i n e t h e n u m b e r o f s u b s e t s , a n d h o w t o i n t e g
3、r a t e c o r r e c t l y . T w o - s p i r a lp r o b l e m, a b e n c h ma r k c l ass i fi c a t i o n p r o b l e m, i s u s e d t o t e s t t h e p e r f o r ma n c e o f t h ea l g o r i t h m .S e c o n d , a c o n s tr u c tiv e n e a r e s t n e ig h b o r c la s s i fic a t io n n e tw o r
4、 k is p r o p o s e dN e a r e s t n e i g h b o r a l g o r i t h m i s a t r a d i t i o n a l p a tt e r n r e c o g n i ti o n m e t h o d , a n d i t c a n b et a k e n as a f e e d f o r w a r d n e t w o r k w i t h o n e c o mp e t i t i v e l a y e r a n d o n e h i d d e n l a y e r .H o w
5、 e v e r , t h e r e a r e t o o m a n y n e u r o n s i n h i d d e n l a y e r , a s m a n y as t h e s a m p l e s , w h i c hl e a d s t o h u g e s t r u c t u r e o f t h e n e t w o r k a n d l a r g e c o m p u t a t i o n c o s t . Wi t h t h ec o n s t r u c t i v e me t h o d p r o p o s
6、e d i n t h i s p a r t , a s ma l l e r c l a s s i f i c a t i o n n e t w o r k c a n b ec o n s t r u c t e d d y n a mi c a l l y , w h i c h c a n a c h i e v e t h e n e a r e s t n e i g h b o r m e t h o d w i t h f e w e rn e u r o n s . S o me c l a s s i fi c a t i o n b e n c h ma r k s
7、 a r e u s e d t o t e s t t h e p e r f o r ma n c e o f t h i sme t h o d , a n d i t i s s h o w n t h a t t h e m e t h o d i s o f h i g h s p e e d .F i n a l l y , a c o n s t r u c t i v e A N N d e s i g n a l g o r i t h m o p t i m i z i n g t h e n e u r o n a c t i v a t i o nf u n c ti
8、o n t y p e s b a s e d o n G A i s p ro p o se d . A th o r o u g h n e u r a l n e tw o r k le a r n in g a lg o r it h m s h o u ld in c lu d e t h e a u t o - o p tim iz a ti o n o f t h e n e u r o n a c tiv a tio n f u n c tio n t y p e s .H o w e v e r , t h i s p r o b l e m i s a l w a y s
9、n o t c o n s i d e red i n mo s t c u r r e n t l e a r n i n g a l g o r i t h m s .I n c o n s t r u c ti v e a l g o r i t h m fr a me , a u t o - o p t i mi z i n g t h e n e u r o n a c t i v a t i o n f u n c t i o n t y p e si s e a s i e r t o e x e c u t e . T h e p r o p o s e d a l g o r
10、 i t h m i s c o m p a r e d w i t h s e v e r a l o t h e ra l g o r i t h ms , t h r o u g h s o m e e x p e r i me n t s . T h e e x p e r i me n t r e s u l t s d i s p l a y t h a t , t h eme t h o d i s f e a s i b l e , w o rt h s t u d y i n g f u r th e r .T h e r e s e a r c h w o r k i n
11、t h i s d i s s e r t a ti o n i s s u p p o rt e d b y t h e N a t i o n a l S c i e n c eF o u n d a t i o n o f C h i n a ( 5 9 9 0 5 0 1 1 , 6 0 2 7 5 0 4 1 ) .南京大学硕士学位论文人工神经网络的构造性设计方法研究1 . 绪论1 . ， 人工神经网络简介人脑是一个高度复杂的、 非线性的和并行的计算机器。 人脑能 够组织它的组 成单元， 即神经元， 能以比当 今最快的 计算机还要快许多倍的速度进行特定的计 算，如模式识别、感知 和运
12、动神经控制等。人工神经网 络( a r ti fi c i a l n e u ra l n e t w o r k , .A N N ) 就是对人脑的 工作机制进行模 拟的机器， 是一个若干个简单计算单元按一定结构互相连接形成的计算系统， 这 些简单计算单元称为 “ 神经元” ，它具有模拟人脑学习的功能。 人工 神经网络一 般用电子器件实现或者 用软件 在数字计算机上模拟。人工神经网 络的 应用遍及国民经济和工 程技术的所有领域。 应用的问 题类别大体可分为:模式识别、函数逼近、推理等。1 . 1 . 1 神经元模型神经元模型是人工神经网络的基础。1 9 4 3年，Mc C u l l o
13、c h和 P i t t y 提出了神 经元模型的一个框架。 按照该模型框架， 神经元模型分为突触模型和细胞体模型两部分: 突触模型对外部刺激进行运算， 运算的结果作为内部刺激由树突传入细 胞体模型做进一步 运算，最后由 轴突输出最终运算结果。 具体如图 1 . 1 所示。 器输出0细胞f * 模型 O=f ( S . 闰=J ( 9 ( X. 哟 阅 = F X。 砰。 动图1 . 1 M- P 神经元模型框架。 其中W表示突触模型的连接权值，a为激活函 数 f 的参数目 前， 业己提出的突 触模型有权值矢量 和输入矢量的内 积形式、 M a n h a tta n 距离形式、 二次曲 线形
14、式等， 其中内 积形式和M a n h a tt a n 距离形式的 突触模型使 用最广泛。 细胞体模型，即 神经元激活函数( a c t iv a t io n fu n c t io n ) ，有: 常用的硬南京大学硕士学位论文人工神经网络的构造性设计方法研究限幅( h a r d - lim it 函数、 s ig m o id型函数、线性函 数， 还有使用较少的正弦波函数 和多项式函 数 I等- 一才 王 何满足可微、 有界、 非常 值这三个条 件的函数都可以 作 为神经元激活函数2 11 1 . 2 神经网络的拓扑结构神经网 络的拓扑结构是指神经元的连接模型。 自 然的 人脑的 神经
15、网络具有复杂的连接。 实际中的人工神经网络的拓扑结构， 根据问题需要常采用下面的一些 结构形式。 一般来说，有三种基本类型的结构。单层前馈网络在分层网络中，神经元以层的形式组织。在最简单的分层网络中， 源节点构 成输入层， 直接投射到 神经元输出层上去。 这个网 络是严格的前馈的。 输入输出 层各有四个节点的 神经网 络如图1 .2 所示。 这样一个网 络称为单层前馈网。 单 层是指仅有输出层，前馈是指仅存在从输入向输出方向传递的连接。ftu 甸咖 即 姗 净 哮 甸w御 时匆 脚 k d * n 4 w r “P it 4w图1 .2四 个输出 神经元的单层前馈网络 图1 . 3具有一个隐层
16、和输出层的全连接前馈网络图 1 .4有隐 层 神 经 元的 递归 网 络 ，其 中a ， 为 延 迟 单 元南 京 大 学 硕 士 学 位 论 文人工神经网络的构造性设计方法研究多 层前馈网络另一 种前馈网络不仅有输入层与输出 层， 还有一层或多层的隐藏节点 层， 简 称隐层。 输入层的源节点提供输入向 量， 并作为第一隐 层的 输入信号， 第一隐层 的输出 信号 又作为下一层的输入信号， 这样一直传递下去， 通常每 一层的输入都 是上一层的 输出，最后的输出层给出整个网络的输出。 单隐层前馈网 络如图 1 .3所示，这是一个 1 0 - 4 - 2完全连接前馈网络，其中有 1 0个输入节点、4个隐层神经元、2 个输出神经元。递归网络递归网络与前馈网 络的区别在于它至少有一个反馈。 反馈是指从输出到输入 方向的连接。图1 .4 所示为有隐层神经元的递归网络。反馈的存在对网络的学习能力和它的性能有深刻的影响， 并且由于反馈涉及 使 用 延 迟单 元Z - 1 ， 这 有可 能 导 致 动 态 行 为 。1 . 1 .3 神经网络的学习人工 神经网络的学习是对人脑学
