智能科学中的神经计算+-+copy

《智能科学中的神经计算+-+copy》由会员分享，可在线阅读，更多相关《智能科学中的神经计算+-+copy（52页珍藏版）》请在金锄头文库上搜索。

1、第14届中国神经网络学术会 议 智能科学中的 神经计算史忠植 http:/ 中国科学院计算技术研究所Date1史忠植 神经计算内容提要一、引言 二、神经网络 三、功能柱 四、同步问题 五、神经场 六、结束语Date2史忠植 神经计算10多年的酝酿，1151人的参与 两次会议：2001-05-11 NSF预备会2001-12-03 NSF/DOC (79人)政府及国家实验室 32人大学 28人企业及非政府组织 19人2004-03 成立Converging Technologies Bar Association (CTBA)科学发展大趋势 美国关于NBIC会聚技术的战略研讨Date3史忠植

2、神经计算InfoCognoBioNanoEnhancing Human PerformanceNew HumanbeingNew IndustriesNew SocietyNew ApplicationsNew ApplicationsNew SciencesNew SciencesNew Education科学发展大趋势Date4史忠植 神经计算第一次浪潮第二次浪潮第三次浪潮第四次浪潮 1990 2020 2050 2080 2100创 新 步 伐数字网络 软件 新媒体生物基因 （蛋白质 ） 纳米材料脑科学 智能技术？ ？对21世纪技术创新浪潮长波的猜想Date5史忠植 神经计算第一次浪潮第

3、二次浪潮第三次浪潮第四次浪潮第五次浪潮1785 1845 1900 1950 1990 1999 2020 创 新 步 伐水力 纺织 铁蒸汽 铁路 钢电 化学品 内燃机石油化学 电子 航空数字网络 软件 新媒体60年55年50年40年30 年技术创新浪潮的经济长波规律 （康德拉捷夫）机械化铁路化电气化 电子化 数字化Date6史忠植 神经计算科学发展大趋 势21世纪: 智能科学智能科学是一门门交叉学科，主要由F 脑脑科学F 认认知科学F 人工智能等学科共同研究智能行为为的基本理论论和实实 现现技术术。 Date7史忠植 神经计算神经元Date8史忠植 神经计算McCulloch-Pitts神经

4、元 现代的神经网络开始于McCulloch, Pitts（1943）的先 驱工作. 在他们的经典论文里，McCulloch, Pitts结合 了神经生理学和数理逻辑的研究描述了一个神经网络的 逻辑分析, 他们的神经元模型假定遵循有-无模型律。 如果如此简单的神经元数目足够多和适当设置连接权值 并且同步操作, McCulloch, Pitts证明这样构成的网络 原则上可以计算任何可计算函数。这是一个有重大意义 的结果，有了它标志着神经网络和人工智能的诞生.Date9史忠植 神经计算McCulloch-Pitts神经元Date10史忠植 神经计算Hebb学习假说 1949年，Hebb的书行为组织学

5、,他在里面第一次清 楚说明了突触修正的生理学习规则。特别的， Hebb提 出大脑的连接随着生物学会不同功能任务而连续地变化 的， 神经组织就是由这种变化创建起来的. Hebb 继承 了 Ramony 和 Cajal 早期的假设并引入自己的现在著 名的学习假说，两个神经元之间的可变突触被突触两端 神经元的重复的激活加强了。Hebb的书在心理学家中有 广泛的影响，但遗憾的是对工程界却影响很少或没有。Date11史忠植 神经计算感知器 Rosenblatt(1958)在他有关感知器的研究著作中提出 了模式识别问题 的新方法，一种新的监督学习方法.所 为的感知器收敛定理使Rosenblatt的工作取得

6、圆满的 成功。他于1960年提出感知器收敛定理的第一个证明（ 1960）。 Widrow和Hoff介绍了最小平均平方(least mean square,LMS)算法并用它构成了Adaline(adaptive linear element).感知器和Adaline的区别在于训练过 程。Date12史忠植 神经计算感知器 1969年，Minsky和Papert合作发表 了颇有影响的Perceptron一书，得出 了消极悲观的论点，加上数字计算机 正处于全盛时期并在人工智能领域取 得显著成就，70年代人工神经网络 的研究处于低潮。Date13史忠植 神经计算Hopfield 网络 1982年，H

7、oopfield用能量函 数的思想形成一种具有对称连 接的递归网络所执行的计算的 新方法。这类具有反馈的特殊 神经网络在80年代引起了大量 的关注，产生了著名的 Hopfield网络。尽管Hopfield 网络不可能是真正的神经生物 系统模型，他们包涵的原理， 即在动态的稳定网络中存储信 息原理的，是极深刻的。 Date14史忠植 神经计算神经计算 自适应共振理论（ART） 自组织特征映射理论 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形 的方法应用于人工神经网络的研究Date15史忠植

8、 神经计算模式结构Hinton提出了简单 的有监督学习理论 只能把神经网络引向死亡描述,提出了 建立通过神经网络抽取模式结构为目 标, 形成外界环境在神经网络中形成 内在表示的机理作为发 展人工神经网 络理论的基础。Date16史忠植 神经计算智能科学 智 能不 仅要 功能 模拟, 而且 要机 理模 拟( Nature 409, 2001 ) Date17史忠植 神经计算神经元Date18史忠植 神经计算突触可塑性Date19史忠植 神经计算神经元模型神经元是神经网络中基本的信息处理单元，他由下 列部分组成: 1 一组突触和联结，联结具有权值 W1, W2, , Wm2 通过加法器功能，将计算

9、输入的权值之和3 激励函数限制神经元输出的幅度Date20史忠植 神经计算神经元模型Input signalSynaptic weightsSumming functionActivation functionLocal Field vOutput yx1x2xmw2wmw1w0x0 = +1Date21史忠植 神经计算大脑神经系统 神经系统是多层次的。 这些不同层次的研究互 相启示，互相推动。在 低层次（细胞、分子水 平）上的工作为较高层 次的观察提供分析的基 础，而较高层次的观察 又有助于引导低层次工 作的方向和体现其功能 意义。Date22史忠植 神经计算神经网络Date23史忠植 神经

10、计算神经网络 Date24史忠植 神经计算神经网络Date25史忠植 神经计算功能柱20世纪60年代末，美国科学家发现，在大脑 视觉皮层中，具有相同图像特征选择性和相 同感受野位置的众多神经细胞，以垂直于大 脑表面的方式排列成柱状结构功能柱 。30多年来，脑研究领域一直将垂直的柱状 结构看作大脑功能组织的一个基本原则。但 是，传统的功能柱研究还不能阐释视觉系统 究竟是如何处理大范围复杂图像信息的。Date26史忠植 神经计算功能柱中科院上海生命科学研究院神经科学研究所李朝义 实验室通过对猫的视皮层的研究，发现在初级视皮 层中存在一种与处理大范围复杂图形特征有关的功 能结构。与目前所有已知结构不

11、同，它不是柱状的 ，而是形成许许多多直径约300微米的小球，分散地 镶嵌在已知的垂直功能柱中。这是在简单特征功能 柱基础上所形成的第二级功能筑构，处理各种更复 杂的图像信息。视觉系统可能正是通过这种神经机 制，以有限的信息量把目标物从复杂的背景图像中 分离出来。Date27史忠植 神经计算功能柱 1972年: Wilson-Cowan方程来描述功能柱; 1990年: Shuster等人模拟视皮层中发现的同步振荡; 1993年: Jansen等人提出了耦合功能柱模型产生了类EEG 波形和诱发电位； 1994年: Fukai设计了功能柱式的网络模型来模拟视觉图 样的获取; 1997年: Hanse

12、l等人根据视皮层朝向柱的结构构建了一个 超柱模型，研究其中的同步性和混沌特性，并对朝向选择 性的功能柱机理做出解释; 1998年: Fransn等人把传统网络中的单细胞代换成多细 胞构成的功能柱，来模拟工作记忆Date28史忠植 神经计算功能柱中国科学院生物物理所 视觉信息加工重点实验室 中国科学院计算研究所 李速 齐翔林 胡宏 汪云九 功能柱结构神经网络模型中的同步 振荡现象功能柱是一个振荡子，而且表明功能柱可以成为皮层多样化 的节律活动的发生源，EEG中的各种节律均可以在结构具有 普遍性的功能柱中找到生理基础。 Date29史忠植 神经计算功能柱Rose-Hindmarsh方程来描述单神经

13、元: x: 代表膜电位， y: 表示快速回复电流， z: 描述慢变化的调整电流， Isyn 表示突触电流， Istim表示外界输入 Date30史忠植 神经计算功能柱模型采用基于电流的突触模型，在突触前细胞的每个动作电 位都将触发突触后细胞的Isyn 输入。突触电流 Isyn 表示为: gsyn 为膜电导 1,2 时间常数 Vsyn 表示突触后电位Date31史忠植 神经计算功能柱Date32史忠植 神经计算同源功能柱Date33史忠植 神经计算异源功能柱Date34史忠植 神经计算功能柱功能柱是一个振荡子，而且表明功 能柱可以成为皮层多样化的节律活 动的发生源，EEG中的各种节律均可 以在结

14、构具有普遍性的功能柱中找 到生理基础。 Date35史忠植 神经计算功能柱功能柱是介于单神经元和皮层脑区 之间的一种中间层次的单元，理解 这种中间层次的单元的活动特点， 能够为脑科学中微观现象和宏观现 象的研究之间建立一座桥梁 Date36史忠植 神经计算信息几何信息几何（Information Geometry）是采用 （Riemann流形上的）微分几何方法来研究 统计问题的理论。 Efron首先在统计学中采用微分几何方法 （1975) 甘利俊一（S.Amari）引入-联络,并应 用到神经网络的研究中 zhu haiyu 等人研究了贝叶斯信息几何 （Bayes Information Geo

15、metry)Date37史忠植 神经计算统计流形 概率神经网络模型（统计学习机）： P(y|x; )= (y F(x,W) Rn 指数簇（Exponential families）流形人工神经 网络 正态分布 Boltzmann机 混合专家神经网络 弯曲指数簇流形人工神经网络 神经场理论Date38史忠植 神经计算朴素贝叶斯分类器 (NBC)Bayesian网络的简化 朴素Bayesian假设： 特征向量的各分量间相对于决策变量是相对独 立降低计算复杂度更加直观简洁可能降低分类、预测精度Date39史忠植 神经计算Fisher 分 Fisher分： l Fisher信息矩阵I 可写为：lFisher分映射：Date40史忠