《西电化合物半导体大作业》由会员分享，可在线阅读，更多相关《西电化合物半导体大作业（8页珍藏版）》请在金锄头文库上搜索。
1、 类脑芯片及类脑计算的最新研究姓名：孔龙龙 学号：3140210057在当今大数据时代， 由于现有计算机硬件和架构限制，已无法满足更大规模数据的处理需求， 世界各国开始着手寻找解决方案，并把目光转向能够以复杂方式处理大量信息的人脑神经系统，而且因为神经系统在时间和空间上实现了硬件资源的稀疏利用功耗极低其能量效率是传统计算机的 100 万倍到 10 亿倍。目前， 传统计算机芯片主要基于冯诺依曼架构， 处理单元和存储单元分开， 通过数据传输总线相连。 芯片总信息处理能力受总线容量的限制，构成所谓“ 冯诺依曼瓶颈”。 而且传统计算机的处理单元一直处于工作状态， 导致能耗巨大。 同时， 由于需要精确的
2、预编程， 传统计算机无法应对编程以外的情况和数据。 而大脑结构则完全不同： 神经元(处理单元)和突触(存储单元)位于一体， 不需要高能耗的总线连接， 突触是神经元之间的连接， 具有可塑性， 能够随所传递的神经元信号强弱和极性调整传递效率， 并在信号消失后保持传递效率。突触的这种性质， 使大脑神经网络结构动态可塑， 能够随外部数据的变化而自适应调整；脑神经网络包含 1000 亿神经元和 100 万亿个神经突触，它们相互连接组成一个庞大而复杂的神经网络， 使人脑信息处理能力超强，而神经元只在工作时消耗能量， 大脑的功耗极低； 可大规模并行处理多个信号； 具备学习能力，在海量数据处理方面具有巨大优势
3、。类脑计算芯片可模拟人类大脑信息处理方式， 能以极低的功耗对信息进行异步、 并行、低速和分布式处理， 并具备自主感知、 识别和学习等多种能力。 同传统计算芯片相比，类脑计算芯片将实现两个突破： 一是突破传统“ 执行程序” 计算范式的局限， 有望形成“ 自主认知” 的新范式； 二是突破传统计算机体系结构的局限， 实现数据并行传送、 分布式处理， 能够以极低功耗实时处理海量数据。类脑模型与类脑信息处理深度神经网络的多层结构以及层次化抽象机制与人脑信息处理的层次化抽象机制具有共通性。相关研究近年来在学术界与工业界取得了突破性的成果。 由斯坦福大学的 Ng 和 Google 公司 Dean 共同领导的
4、 Google Brain 项目采用深度神经网络，在 16000 个 CPU 核构建的大规模并行计算平台上实现了图像识别领域的突破。随后微软研究院、百度研究院在语音和图像领域的研究中都采用了深度神经网络(百度语音识别系统的相对误识别率降低了 25%)，迅速提升了其在视听觉信息处理领域的识别效果。由神经科学家与深度学习研究者合作创建的 Deep Mind 公司提出深度强化学习模型，并在此基础上研发出具有自主学习能力的神经网络系统，通过与环境交互和不断地试错，自动学会打 49 种不同的电子游戏，接近或超越人类玩家。 其网络结构的核心是卷积神经网络与强化学习算法的融合。该方法的优势是不需要手工选取重
5、要的特征，经过大规模图像在深度网络上的训练后能够表现出较好的自适应性。 其缺点是对于需要长远规划的游戏则表现较差，因为强化学习算法在进行动作选择前主要关注决策前最近邻的状态。深度神经网络虽然在感知信息处理方面取得了巨大突破和应用成效，然而依然有其发展瓶颈。首先是训练效率问题， 绝大多数情况下需要有大量标注样本训练才能保证足够高的泛化性能。 其次是网络不够鲁棒，可能把明显不属于某个类别的模式非常自信地判别为该类。 此外传统的深度神经网络并不善于处理时序问题，而许多应用场景下数据与问题都具有较强的时序性。 循环神经网络(Recurrent Neural Network, RNN)正好是针对时序信号
6、设计的。尤其是基于长短时记忆(Long-ShortTerm Memory, LSTM)的循环神经网络近年来成为时序信号分析（如语音识别、手写识别）最有效的模型。然而其缺点也是需要巨量的训练样本来保证泛化性能。类脑学习与处理算法的研究能够大大降低能耗或是加快速度的类脑的处理器对于实现更高水平的智能无疑会有很大的帮助， 但要真正实现类人水平的通用人工智能， 除了需要这样的硬件基础外， 关键还需要理解生物脑对于信息所做的计算， 即类脑的处理及学习算法。对于此研究方向， 一个常见的顾虑是： 现在神经科学对于大脑工作机制的了解还远远不够， 这样是否能够开展有效的类脑算法研究？对此，我们可以从现在获得广泛
7、成功的深度神经网络获得一些启示。从神经元的连接模式到训练规则等很多方面看， 深度神经网络距离真实的脑网络还有相当距离， 但它在本质上借鉴了脑网络的多层结构 （即 “深度” 一词的来源） ， 而大脑中， 特别是视觉通路的多层、 分步处理结构是神经科学中早已获得的基本知识。这说明，我们并不需要完全了解了脑的工作原理之后才能研究类脑的算法。相反， 真正具有启发意义的， 很可能是相对基本的原则。这些原则， 有的可能已经为脑科学家所知晓， 而有的可能还尚待发现， 而每一项基本原则的阐明及其成功的运用于人工信息处理系统， 都可能带来类脑计算研究的或大或小的进步。非常重要的是，这一不断发现、转化的过程不仅能
8、促进人工智能的进展， 也会同步加深我们对于大脑为何能如此高效进行信息处理这一问题的理解， 从而形成一个脑科学和人工智能技术相互促进的良性循环。类脑计算硬件的研究类脑计算器件研究的初衷是在不影响性能的前提下， 大大降低功耗， 或者在相似功耗下， 极大提高速度。现代计算机虽然具有惊人的运算能力与运算速度， 但与之相伴的是高昂的能量消耗。大型计算机的功耗往往在兆瓦量级以上， 与之相比， 成年人大脑的功耗只有大约 20 W。巨大的能耗严重限制了系统进一步向微型化的方向发展 （因为难以散热） ， 也会使得复杂的嵌入式应用和远程应用， 比如宇航探索， 缺乏足够的计算能力支持 （因为难以携带足够的能源） 。
9、现代计算机能耗高的一个重要原因是计算机普遍采用的冯.诺依曼架构。冯氏架构中， 信息处理单元与存储单元是分离的， 这样在运算过程中， 势必要经常将数据在处理单元与存式的存储于网络的各个节点 （比如由神经元内的离子浓度表征） 以及节点之间的连接 （比如由突触的强弱表征） 上， 运算和存储在结构上是高度一体化的。这样， 用少量甚至单个电子器件模仿单个神经元的功能， 而将数量巨大的电子“神经元”以类脑的方式形成大规模并行处理的网络， 以进行计算， 就成为了非常有吸引力的方向。 目前研究的热点包括寻找更适合的器件以模拟单个神经元 （比如忆阻器） ， 设计非冯氏体系为基础的处理器等。近来 IBM 公司研发
10、的 TrueNorth 芯片是这一领域的代表性进展， 由于使用了非冯氏结构体系和其他一系列措施， 实现了对于功耗近2个数量级的降低（图 1） 。另外的重要进展还包括研发专用处理器， 针对深度神经网络等类脑算法进行专门优化， 以提高速度、 降低功耗， 由于这一领域的算法已在图像、 语音识别等方面有成熟的应用， 此类专用处理器有望能较早储单元之间进行传递， 这一看似简单的过程却能贡献系统近 50%的功耗。另外的重要进展还包括研发专用处理器，针对深度神经网络等类脑算法进行专门优化， 以提高速度、 降低功耗， 由于这一领域的算法已在图像、 语音识别等方面有成熟的应用， 此类专用处理器有望能较早投入实际
11、运用。深构造脑模型的实验目标是： 通过人工的技术手段， 建立一个深构造的复合网络体， 并通过测试来检验该网络体中的运行是否符合上述 4 个神经深构造计算的技术标准，以此验证深构造网络猜想的真实性， 以此证实 “深构造网络” 的客观存在性。在此基础上进一步实验研究生物脑与脑模型之间的网络结构的相似性和功能对比。深构造脑模型的关键技术难点在于， 如何使几个分属的人工神经元融合转化为一个跨多个单体网络的合成体神经元。深构造理论认为， 树突内部所呈现出的那种奇妙复杂的丛枝状结构形态是动物在进化中为处理错综复杂的竞争信号而被塑造出来的。它之所以会长成这个样子， 一定是这种技术结构能够使它具有某种独特的技
12、术用途。正是在树突的丛枝状结构上， 才能够对它所接收的许多外部竞争性信号实施复杂的调制（图 2， 注意各种突触之间的位置和距离关系）。树突丛枝状结构， 才是神经编码奥秘之所在。经典 ANN人工神经元模型的树突放射状结构， 与生物神经元树突的丛枝状结构形成鲜明的对照。后者在处理信息上的特殊 “机制” 已经成为实验神经科学的前沿区域。例如，2013 年Nature杂志刊登的论文 “Dendritic spikes enhancestimulus selectivity in cortical neurons in vivo” 9， 对小鼠神经元的树突电信号研究中的发现， 颠覆了经典神经元模型的信号
13、生成原理。传统神经理论认为， 轴突是神经元产生尖峰脉冲的机构， 但新的实验证明， 树突部位才是处理信号的真正机构， 并在树突部位形成了尖峰脉冲。更早的一些实验也已经发现， 产生尖峰脉冲的分子主要存在于树突中， 树突不是被动处理外输入的信号， 而是像一部微型计算机那样主动处理这些信号， 树突并不是一个简单的信息整合器， 而更像是一个复杂的计算装置。MindputerLab 的 “复合神经元的树突模型” ， 就是在对深构造理论和对树突丛枝状结构的研究这两方面的结合中逐渐发展出来的。它基于这样一种树突工作的新原理： 树突内部不同的突触分组对尖峰脉冲的形成具有竞争性， 而突触分组内的构型变化则可对竞争
14、性产生妥协和调节。参考文献：1， 类脑智能研究的回顾与展望-曾毅2， 美国类脑芯片发展历程-唐旖浓3， IBM 新一代神经形态芯片的设计理念- 李建中4， Merolla P A, Arthur J V, Alvarez-Icaza R, et al. Artificial brains: A million spiking-neuron integrated circuit with a scalable communication network andinterfaceJ. Science, 2014, 345: 668-673.5， Chen Y, Luo T, Liu S, et a
15、l. Dadiannao: A machine-learning supercomputerC/Proceedings of the 47th Annual IEEE/ACM International Symposium on Microarchitecture, 2014: 609-622.6， BRAIN Working Group. BRAIN 2025: A scientific visionEB/OL. 2016-03-297， Anh Nguyen, Jason Yosinski, Jeff Clune. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images. Proceedings of the 2015 IEEE Conferenceon Computer Vision and Pattern Recognition (CVPR 2015).8， Volodymyr Mnih, Koray Kavukcuoglu, David Silver, et al.Human-level Control through Deep Reinforcement Learning, 2015,Nature 518.7540: 529-533.
