高速图像采集与处理PPT

《高速图像采集与处理PPT》由会员分享，可在线阅读，更多相关《高速图像采集与处理PPT（44页珍藏版）》请在金锄头文库上搜索。

1、高速图像采集与处理,高速图像采集与处理,图像采集,图像采集： 图象经过采样、量化以后转换为数字图象并输入、存储到帧存储器的过程，叫做图像采集。 由于图像信号的传输需要很高的传输速度，通用的传输接口不能满足要求，因此需要图像采集卡。,图像采集,图像采集卡： 图像采集卡（Image Capture Card），又称图像捕捉卡，是一种可以获取数字化视频图像信息，并将其存储和播放出来的硬件设备。很多图像采集卡能在捕捉视频信息的同时获得伴音，使音频部分和视频部分在数字化时同步保存、同步播放。 图像采集卡的功能是将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。它是图像采集到图像处理过程间必不可少的硬

2、件设备，通过它，我们就可以把摄像机拍摄的视频信号从摄像带上转存到计算机中，利用相关的视频图像编辑软件，对数字化的视频信号进行后期编辑处理。,图像采集,图像采集元件图像传感器（image transducer ） 图像传感器（感光元件）是一种将光学图像转换成电子信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。 早期的图像传感器采用模拟信号，如摄像管。如今，图像传感器主要分为CCD和CMOS图像传感器两大类。,图像采集,CCD图像传感器，英文全称：Charge-coupled Device，中文全称：电荷耦合元件。CCD是一种半导体器件，能够把光学影像转化为数字信号。 CCD上植入的微小

3、光敏物质称作像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。 CCD的作用就像胶片一样，但它是把 图像像素转换成数字信号。CCD上有许 多排列整齐的电容，能感应光线，并将 影像转变成数字信号。经由外部电路的 控制，每个小电容能将其所带的电荷转 给它相邻的电容。,图像采集,CMOS（Complementary Metal Oxide Semiconductor），互补金属 氧化物半导体。电压控制的一种放大 器件。是组成CMOS数字集成电路的 基本单元。 CMOS传感器有可细分为：被动式像素传感CMOS（Passive Pixel Sensor CMOS）与主动式像素

4、传感器CMOS（Active Pixel Sensor CMOS）。,图像采集,图像处理,图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术，又称影像处理。 基本内容：图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。,图像处理（锐化）效果,图像处理,图像处理,图像处理,通过取样和量化过程将一个以自然形式存在的图像变换为适合计算机处理的数字形式。图像在计算机内部被表示为一个数字矩阵，矩阵中每一元素称为像素。,对图像信息编码，以满足传输和存储的要求。编码

5、能压缩图像的信息量，但图像质量几乎不变。,图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等,图像处理,图像复原是在假定已知模糊或噪声的模型时，试图估计原图像的一种技术。,图像分割将图像划分为一些互不重叠的区域，每一区域是像素的一个连续集。通常采用把像素分入特定区域的区域法和寻求区域之间边界的境界法。,从图像中抽取某些有用的度量、数据或信息。,高速图像采集与处理,高速图像采集处理系统： 一般是指采样率和数据实时处理速率在 100MSPS以上的图像采集处理系统。（SPSADC的参数，即每秒模数转换器采点数） 与传统的图像采集系统相比，高速图像采集处理系统以其高帧频、高

6、分辨率的采集特点，可以实现对高速运动目标的实时采集、跟踪和传输，因此，被越来越广泛的应用于军事、航天、工业生产及科研等领域。,高速图像采集与处理,目前，高速图像采集处理系统在应用中仍然存在许多问题，这些问题严重阻碍着高速图像采集处理系统的实用化进程。 主要问题如下： 1.随着成像技术的飞速发展，传感器的分辨率越来越高，使得采集的图像数据量越来越庞大； 2.实际应用中对图像传输的实时性要求越来越高； 3.用于数据传输的带宽提升； 4.用于存储图像数据的磁盘空间加大. 因此，如何实时的压缩图像数据，如何提升系统实时处理速度成为高速图像采集处理系统中的两个关键技术,ATR-Directed 图像压缩

7、方法,ATR-Directed 图像压缩方法 ATR-Directed （面向自动目标识别）图像压缩是目前高速图像采集处理系 统中应用最为广泛的一种实时图像压缩方法。它是利用目标 ROI（Region-of-interest, ROI）检测算子提取出可能存在的目标 ROI，然后对目标 ROI 进行优先编码。这种算法可以在实现较高压缩比的同时，较好的保留目标信息。 利用现有比较成熟的目标ROI检测算法得到图像中的目标ROI，然后利用嵌入式图像压缩方法，对目标ROI进行高保真度压缩，从而尽可能地保持图像ATR性能。,ATR-Directed 图像压缩方法,ATR-Directed 图像压缩方法的研

8、究，主要体现在两个方面： （1）如何提取出对于保持自动目标识别性能至关重要的目标 ROI； （2）如何在有损编码方法中保持目标 ROI 的高保真度。 核心的问题是：ROI 检测器能够充分检测出目标ROI，而且需要在图像编码过程中对 ROI 进行优先编码，并且要求算法运算量及占用的存储空间尽量小。,静态目标 ROI 检测,运动目标ROI检测,检测运动目标ROI，主要有帧积分法、差分图像法、基于光流场的方法、基于统计模型的方法、基于小波变换的方法和基于神经网络的方法等。 帧积分法：对图像进行多帧积累增加，是序列图像检测目标ROI最直接最简单的方法。为了兼顾检测性能和算法的实时性，帧积分法将目标轨迹

9、和目标的能量积累结合起来，有效地抑制噪声的影响，提高目标的信噪比。 差分图像法：根据差分策略不同，又可以分为基于相邻帧差的算法和基于背景图像与当前帧差的算法。在环境亮度变化不大的情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的；如果图像区域某处的灰度变化很大，则认为这是由于图像中运动物体引起的，然后求出运动目标ROI在图像中的位置,运动目标ROI检测,基于光流场的方法：通过计算图像的光流场，再结合目标的运动特征进行目标ROI检测。所谓光流是指图像中模式运动的速度，它是一种二维瞬时速度场。 基于统计模型的方法：首先利用较简单的算法对运动场进行粗略的估计，然后根据马尔可夫 (Markov

10、)随机场理论构造出运动场的间断点分布模型，利用此模型来检测运动场间的断点，以此来实现运动目标ROI的检测。 基于小波变换的方法：小波理论是在 20 世纪 80 年代后期发展起来的一种新兴的信号处理方法，它具有良好的时频局部化特征和方向性特征，已被广泛应用于运动目标检测、模式识别、信号处理等领域。,运动目标ROI检测,基于人工神经网络的方法：这种方法首先将每帧图像分成一系列图像块，经过预处理后将这些图像块投影到一个线性滤波器组，得到不同的图像模式；然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类；最后用训练得到的神经网络分类器来判断图像模式是否包含目标。,目标直升机图像 ROI检验算子

11、处理图像 阈值处理图像,图像编码,图像编码是ATR-Directed图像压缩方法中另一个关键环节。 图像编码是数字图像处理的重要组成部分之一。随着数字图像采集器件分辨率的提高，表示数字图像的数据不断增加，从几百兆比特增加到千兆比特传输率，要满足巨大数据量的传输和存储就需要很宽频率带宽以及大容量存储器。 为了提高传输效率和节省存储空间，需要运用图像编码技术通过去除冗余数据来减少描述数字图像的数据。,图像编码,基于香农信息论的编码方法： 香农编码定理指出在不产生任何失真的前提下，通过合理的编码，对于每一个信源符号分配不等长的码字，平均码长可以任意接近信源的熵。 游程编码、Huffman编码、算术编

12、码等，这些通常称为熵编码。熵编码是基于信号统计特性的编码技术，它是一种无损编码方法，解码后能无失真地恢复图像。 新型图像编码方法： 分形编码、模型编码、小波编码,图像编码,分形图像编码：在分形几何理论上发展起来的一种编码方法。分形理论描述自然界物体的自相似性，这种自相似性可以是确定的，也可以是统计意义上的。分形压缩编码算法与原图像分辨率无关，压缩确定性分形图像时图像复原质量较高，但在处理不具有明显确定性分形结构的图像复原质量不理想。 模型编码：不压缩实际的量化数据，而是采用一个表示景物（一般是人、人脸等）的模型，传送的信息是告诉接收方如何改变模型以匹配输入景物（如眨眼、扭头等）。基于模型的解码

13、器也有一个与对应编码器相同的模型，解码器利用收到的数据调整其模型，然后生成供显示的图像模型。,图像编码,小波变换：小波变换采用变时间窗的方法对图像进行分析，对整幅图像的能量进行了重新分配。在低频时它对频率的定位较准，图像的能量主要集中于低频部分，能反映图像的整体特征；而在高频时它对时间的定位较准，很大的区域中数据的动态范围很小，有效地保留原始图像的细节和边缘。,高速图像采集处理系统,图像采集处理系统的架构对高速图像采集处理技术的广泛应用有着至关重要的影响。按照其对采集图像进行处理的实时性进行分类可以分为：实时处理采集系统和非实时处理采集系统。,基于 SCSI 实时存储的高速图像采集处理系统,基

14、于SCSI实时存储的高速图像采集处理系统属于非实时处理采集系统，这种架构主要针对采集速率大于 100fps 的图像采集系统，其不对图像进行实时处理，而是将其直接存储于 SCSI（小型计算机系统接口）磁盘阵列。,基于SCSI实时存储的高速图像采集处理系统架构,基于 SCSI 实时存储的高速图像采集处理系统,基于 SCSI 实时存储的高速图像采集处理系统架构在目前高速的采集系统中应用非常广泛，尤其在科研中的姿态测量、碰撞试验等采集对象的运动速度非常快的采集系统都应用这种架构。 这种架构只要在存储空间足够大的前提下，可以满足任意高速采集速率的传输要求，但是应用多硬盘阵列（通常为几十块硬盘阵列，多则可

15、达到几百块硬盘）会带来系统成本提高、占用空间增大、设备保管困难及系统整体的灵活性、可靠性差等许多方面的问题，而且应用这种设备进行传输存储对于数据线的要求也非常高。,基于实时图像处理的高速图像采集处理系统,基于实时图像处理的高速图像采集处理系统属于实时处理采集系统，这种架构在系统中嵌入高速实时图像处理单元。,基于实时图像处理的高速图像采集处理系统,基于实时图像处理的高速图像采集处理系统,基于实时图像处理的高速图像采集处理系统采用特殊的图像处理算法，对采集的图像进行实时的图像降噪、图像压缩、图像增强等处理，然后进行存储，以备图像后续处理。其中所采用的图像处理算法在可以达到处理要求的基础上，还必须具

16、有运算简单，易于快速实现的特点，这对图像处理算法有较高的要求。,硬件实现方法,随着 VLSI 技术的迅速发展，为高速图像采集处理系统的硬件实现提供了有利的条件。而对于系统中核心处理单元的硬件实现方法仍然是目前研究的关键，现有的针对核心处理单元的硬件实现方法主要有以下几种。,基于ASIC的硬件实现方法,ASIC（Application Specific Integrated Circuit）专用大规模集成电路，是针对于某一种固定算法或应用而专门设计的硬件芯片。,基于ASIC的硬件实现方法灵活 性差，导致其通用性较差。,基于FPGA的硬件实现方法,FPGA（FieldProgrammable Gate Array），即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。 它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路种类的不足，又克服了原有可编程器件门电路数有限的缺点。,FPGA芯片内部结构,基于FPGA的硬件实现方法,基于FPGA的硬件实现方法,FPG