《视觉芯片材料.doc》由会员分享，可在线阅读，更多相关《视觉芯片材料.doc（22页珍藏版）》请在金锄头文库上搜索。
1、一、 可行性论证1、视觉芯片的原理和特点视觉芯片是一种模仿人类视觉功能，可高速完成图像采集和处理的新型片上系统芯片。要充分理解视觉芯片的工作原理，必须先了解人类的视觉系统。经过数百万年的自然进化，目前的人类拥有发达的视觉系统，具有快速、灵活、高效的视觉图像处理能力。如图1.1左侧所示，人类视觉系统主要包括眼球、大脑视觉中枢和一些信号传输神经。外部场景及物体以光信号的形式，通过眼球前端的晶状体，聚焦投影在眼球后部的视网膜上。视网膜主要完成两个功能，一是接收投影过来的图像光信号并转化为电信号，二是并行实现图像特征提取，将携带大量冗余信息的原始图像压缩为少量的特征信息，然后通过传递神经传输到大脑的视
2、觉中枢。之后，大脑基于以往学习到的经验知识，快速直观地对图像特征进行分析和识别，从而让我们能迅速识别和理解所看到的场景和物体。在人类视觉系统中，图像信息是并行传输、并行处理的，具有很高的实时响应速度。因此，人类视觉系统为高性能图像信息采集处理系统提供了很好的设计借鉴。图1.1 人类视觉系统和视觉芯片而视觉芯片正是一种模仿人类视觉系统功能，集高速图像采集和并行图像处理能力于一体的数模混合系统级芯片，如图1.1右侧所示。除了模仿眼球晶状体的聚焦透镜之外，其余所有的视觉功能都可以集成在一块单芯片上实现。其中像素阵列模仿眼球视网膜的图像采集功能，大规模并行处理阵列模仿视网膜的并行特征提取功能，图像数据
3、在像素阵列和大规模并行处理阵列之间的传输也是大规模并行的。高层次处理器则模仿人类大脑功能，实现对特征的进一步分析和识别，通常不具备明显的并行处理能力。最后，视觉芯片输出这些特征数据或识别结果到片外，完成对其他设备的反馈控制。图1.2所示为典型视觉芯片的逻辑构成，它集成了图像传感器的像素阵列和多个不同功能的多个处理器。在系统逻辑结构上视觉芯片非常类似于层次化异构的人类视觉系统，图像传感器类似于视网膜的成像功能，而其后不同功能的处理器则类似于不同层次的视觉皮层，比如阵列处理器的功能和V1 皮层类似，用于感知边缘以及强度信息，而后续的处理器功能则类似于次级皮层，用于对初级皮层提取的边缘信息进行整合和
4、抽象。更为重要的是，视觉芯片对视觉信息的处理采用并行处理，这一点与生物神经系统类似。图1.2 视觉芯片的基本原理通过上面的简单分析，我们很容易发现，视觉芯片借鉴了很多生物系统特性，并且在现代半导体工艺快速发展的推动下，视觉芯片具有了以下特点：实时以及高速特性：视觉芯片具有并行计算和并行传输的特性，而该特性使其在计算速度上优于传统视觉处理系统。传统的视觉处理系统采用分离的图像采集部件（CMOS或者CCD图像传感器）和图像处理部件（PC、DSP、MCU），其处理速度受限于图像采集和处理部件之间数据传输的速度以及并行处理部件的速度。视觉芯片的数据传输以及处理皆采用并行方式，使处理速度大大提升，很多采
5、用视觉芯片的系统都能使响应速度达到1000帧/秒以上。低功耗：视觉芯片具有低功耗的特点，其采用大量并行电路并行进行数字信号处理，与传统串行处理方式相比，并行处理电路通过大量减少处理中所需的系统控制操作（循环、跳转操作，甚至是操作系统）来减低功耗。同时，片内数据传输与传统图像传感器和PC间数据传输相比功耗也减少很多。紧凑小型系统：视觉芯片高度集成，与传统视觉处理系统相比，其体积不足前者的百分之一。它不仅适用于传统视觉系统所擅长的一般场合，在车载、移动、物联网、机器人视觉等多种小型化平台上同样适用。低成本：视觉芯片具有低成本的特点，与传统视觉处理系统相比，几乎所有的系统部件都集成在单一硅片上，所以
6、视觉芯片的成本要低得多。随着集成电路技术的进一步发展，相同数量晶体管的设计所消耗的硅面积还在进一步缩小，因此视觉芯片的成本还可以继续下降。可以看到的是，视觉芯片具有传统视觉处理系统所不具备的诸多优势，如果我们能够将这些优势逐一发挥，那么视觉芯片必将在我国的国防安全、国民生产、人民生活的方方面面发挥重要作用。2、视觉芯片的研究现状视觉芯片的概念最早于上个世纪90 年代末提出，由于其结构和功能新颖，在短时间内即成为研究热点，并伴随出现了很多的研究小组，其中有的小组对其进行了长达数十年的研究。伴随半导体技术成熟以及各国学者对视觉处理的认识加深，已形成了多个视觉芯片的研究分支。图 1.3总结了从199
7、0年开始至2014年为止，具有代表性的视觉芯片研究。早期的研究者多直接利用仿生机理来设计视觉芯片，这类芯片可以将光信号转化为电信号，并且对所获得电信号进行类似视网膜功能的图像预处理。比如Koch Christof在90年代初期就利用模拟电路进行了大量的尝试，这类芯片能够在某种程度上模拟神经系统中的一些特性并且可以完成早期视觉处理（Early Vision Processing）。后来这类研究进一步发展为专门的神经形态学（Neuromorphic）研究，近年来如IBM，Stanford以及曼切斯特大学等所进行的诸多研究项目皆于此有深厚渊源。图1.3 视觉芯片的发展脉络90年代初期受神经形态学启发
8、而来的视觉芯片无法完成复杂的视觉处理，显然，仅仅进行视觉预处理并不能满足人们对视觉系统的要求。为此进入21世纪之后，很多学者设计了具有某些特殊功能的视觉芯片，比如用于运动检测、目标跟踪、目标判别等应用的专用（Application Specific）视觉芯片。在该方向研究工作较为突出的为东京大学、意大利FBK（Fondazione Bruno Kessler）、新加坡国立大学以及中科院半导体研究所等研究机构与大学。专用视觉芯片的优点是能够根据具体应用优化系统架构和电路结构，使芯片面积、功耗等做到最优。然而，即使是在这些固定的应用场景下，专用视觉芯片的表现可以说仍然不尽人意，究其原因，主要是芯片
9、内所固化的算法鲁棒性不高。这一问题我们很容易从用于目标追踪的视觉芯片中看出来，这类芯片尽管采用了高速设计，但是其核心的算法却是基于二值图像进行的。最终结果就是这类芯片都无法用于光照变化、背景复杂且灰度与目标相近的追踪任务当中。专用功能芯片的另一大局限性在于其不能应用到新的应用中，针对不同应用必须重复开发，因此其上市时间（Time To Market）相对较长，并且消耗人力物力。2006年以来，出现了一种新型的视觉芯片（图 1.3中虚线所示），该类型的视觉芯片基于事件驱动（Event-driven）进行信息处理，没有帧的概念（frame-free），具有低功耗特点，并且可以在事件发生过程中进行处
10、理，其工作原理完全不同于其他视觉芯片。然而，这类芯片只能对动态场景进行处理，无法感知静态图像，因此仍然只能应用于某些特殊场合。可编程视觉芯片是为了解决专用功能芯片所存在的问题而发展而来的。它不再局限于某个固定的应用，利用其可编程性，针对不同的视觉处理，我们可以设计并在视觉芯片上运行不同的算法，这样同样一个视觉芯片就可以在不同的场合下使用。同时，系统的鲁棒性更多的决定于视觉芯片所运行的算法，因此我们可以通过不断的提出新的算法并改进算法来提高系统的鲁棒性。因为上述优势，可编程视觉芯片在最近几年成为视觉芯片领域最为活跃的研究方向之一。美国麻省理工大学、英国曼切斯特大学、国立台湾大学、美国乔治亚理工2
11、9、以及中科院半导体研究所皆为较有代表性的课题组。可编程视觉芯片仍然保留了早期仿生机理以及专用视觉芯片中所采用的像素级并行处理单元（Processing Element, PE）阵列以保证整个系统的处理速度。近期出现的一些研究成果中使用了行/列处理器（Row Processor, RP）阵列和微处理器（Micro Processing Unit, MPU）相结合的方式来进一步完善图像特征提取和识别功能。3、自身研究水平中国科学院半导体研究所长期开展视觉芯片的研究，课题组在该领域的学术积累长达十年。2014年半导体所提出了基于冯诺依曼多级并行处理器和非冯诺依曼自组织映射（Self-Organiz
12、ing Map, SOM）神经网络混合处理的新型视觉芯片体系架构。该架构支持包括特征识别在内的完整片上图像系统功能，具备像素级、行/列级、矢量级和线程级多级并行处理能力，可高速完成从图像采集、图像特征提取到特征识别的全过程，满足1000 fps的系统级性能要求。 2015年半导体所进一步提出了适用于计算机视觉算法处理的基于多级异构并行处理的视觉芯片架构HERO。该架构集成多级异构并行处理器，有效地提高了特征描述和特征分类处理性能。该架构可以完成从特征检测、特征提取到特征分类的完整视觉处理流程，整体系统性能超过目前世界先进水平。4、未来研究方向视觉芯片未来将向着更加智能化的方向发展。2006年以
13、来，国际学术界出现了一种新型的视觉芯片，该类型的视觉芯片基于事件驱动（Event-driven）进行信息处理而不是传统的帧驱动。事件驱动视觉芯片可以自动感知图像内的变化部分，并且只对变化的动态部分进行处理，这种处理方式与生物的视觉系统更为类似。但是不足之处在于，这类芯片只能对动态场景进行处理，无法感知静态图像，也无法对缓慢变化的场景进行处理，因此仍然只能应用于某些特殊场合。另一种更为主流的提升视觉芯片智能化程度的方法是将神经网络集成在视觉芯片内。2014年半导体所提出了一种含有自组织映射神经网络的视觉芯片，可高速进行图像识别、跟踪等高级处理功能，极大地提升了视觉芯片的功能。为视觉芯片的研究开辟
14、了新的研究道路。但是，SOM神经网路的结构较为简单，属于浅层学习神经网络，在特征分类方面存在明显的不足，导致目标识别准确率低。目前的卷积神经网络（CNN）是近年来在人工智能领域新兴的一个研究方向。和SOM相比，CNN运算结构更为复杂，特征提取层次更多，并且能够通过训练自动提取特征模型，因此能够提供SOM无法比拟的分类准确度。国内外许多公司和研究机构对CNN的关注度与日俱增：著名的Twitter公司收购了一家基于深度学习的机器视觉公司 Madbits。希望借用其研究成果对每天成百上千万张发布到平台上的照片图像数据进行识别，以提供更强大的标签和相关的图片搜索功能。Google、雅虎、Dropbox
15、 和 Pinterest也在开展相关收购，以提高公司在这方面的技术力量。美国著名的显卡制造公司，NVIDIA最新的 Drive PX平台拥有深度学习能力，可将现实环境学习结果反馈回资料中心。NVIDIA官网许多系统单芯片(SoC)大厂已开始投入具备深度学习(deep learning)技术的产品。我国的曙光公司、中科院计算技术研究所和NVIDIA公司开展了深度学习战略合作，并发布了X-System深度学习产品。百度、腾讯等公司更是将CNN等深度学习算法作为战略性的研发方向，并投入巨大的资金力量。由于CNN等深度学习算法对于计算资源的消耗较大，一般都采用服务器集群或者基于GPU的平台进行计算，系
16、统的功耗很大。基于视觉芯片计算架构巧妙地借鉴了人类视觉系统的仿生架构，在计算效率上更胜一筹，是未来实现小型化CNN处理专用芯片以及平台的可选结构之一，集成CNN的视觉芯片是未来的重要发展方向。二、 技术方案1、视觉芯片的架构传统的视觉芯片架构如图2.1所示，该架构主要包括以下三个部分：1）高速图像传感器接口以及控制器组成，用于高速采集数字图像并输出到后续处理器；2）多级并行冯诺依曼处理器：主要包括像素级并行的N N PE阵列处理器，N个行并行的RP阵列处理器，以及线程级并行的双核MPU处理器，分别用于完成低级、中级和高级图像处理；3）非冯诺依曼SOM神经网络：该神经网络含有N1 N2个SOM神经元，是模仿人类大脑识别功能的一个简化模型，用于以矢量级并行方式加速高级图像处理中最复杂、最常见的特征识别任务。该架构的不足之处在于低级处理器是由大量的仅能进行1-bit计算的简单处理器构成，虽然计算并行度很高，适合对图像进行快速的低级处理，但是由于每个单
