《基于FPGA的视频信号采集与处理系统》由会员分享，可在线阅读，更多相关《基于FPGA的视频信号采集与处理系统（48页珍藏版）》请在金锄头文库上搜索。
1、基于FPGA的视频信号采集与处理系统摘 要图像是人类获取和交换信息的主要来源。现如今，图像处理的应用领域已经涉及到人类生活和工作的方方面面，如航天和航空技术、工业和工程、军事公安、生物医学工程等等。在图像处理系统中，实时图像的采集是整个系统的前端部分，也是整个系统最重要的部分。前端的图像采集速度及质量，直接影响到图像处理系统后端的算法处理及应用。本文主要设计图像处理系统的前端部分，即视频信号的采集。本文设计中采用CMOS图像传感器OV7670对外界图像进行实时采集，通过FPGA内部设计的初始化模块对图像传感器输出信号的格式进行配置。根据其输出信号的时序，在FPGA内部设计采集单元。采集到的数据
2、一路送到TFT液晶屏上进行实时显示，另一路送入SRAM缓存。当一帧图像存储完成后，在NIOS II软核中对图像进行处理，并将处理结果以图片的方式，存储到外部存储器SD卡中。关键字：FPGA； 实时图像； CMOS； 图像采集AbstractThe image is human access and exchanges the primary source of information. Nowadays, Image processing applications have involved human life and all aspects of the work, such as aer
3、ospace and aviation technology, industry and engineering, military police, biomedical engineering and so on. In the image processing system, Real-time image collection is the head part of the whole system, is also the most important part of the whole system. Part of the image acquisition speed and q
4、uality, directly affect the image processing system and the algorithm after processing and the application.This paper mainly designs image processing system, namely the head part of video signal collection.This paper applied to the design of CMOS image sensor to the outside world OV7670 real-time im
5、age acquisition. Through the FPGA design inside the initialization of the module of image sensor output signal format configuration. According to its output signal timing, In the FPGA design inside acquisition cell. The data collected one way to TFT LCD screen on the real-time display, and the other
6、 way into an SRAM cache, when a frame image storage completed, processing the image in the NIOS II MCU. And the result of processing, storage to external storage SD card.Key words：FPGA; Real-time image; CMOS; Image acquisition目 录1 前 言11.1 数字图像处理发展史11.2 系统整体设计32 CMOS原理和特性及CMOS摄像头的基本结构42.1 CMOS原理及特性42
7、.1.1 CMOS数字图像传感器基本原理42.1.2 CMOS图像传感器的特性52.2 COMS传感器的基本结构62.2.1 OV7670简介62.2.2 OV7670内部结构83 系统设计及硬件实现123.1 系统结构及工作流程123.1.1系统结构123.1.2系统工作流程123.2器件选型及硬件电路实现123.2.1 FPGA选型123.2.2 FPGA配置电路133.2.3 SDRAM电路实现153.2.4 SRAM电路实现173.2.5其他硬件电路184 系统软件设计194.1 软件设计概述194.2 VHDL简介及特点204.3 OV7670初始化模块214.4 OV7670数据采
8、集模块234.5 SRAM控制模块和TFT液晶控制模块254.6 MCU单元设计264.6.1 SOPC Builder简介264.6.2主控制单元MCU的实现284.7 NIOS II软件开发294.7.1 NIOS II集成开发环境294.7.2 MCU软件设计304.7.3简单运动检测314.7.4 BMP图片存储325 总结与展望34参考文献35附录 136附录 243致谢441 前 言1.1 数字图像处理发展史数字图像处理技术起源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，它采用了数字压缩技术。就1920年的技术水平看，如果不压缩，传一幅图片要一个星期时间
9、，压缩后只需要3小时。1964年美国的喷气推进实验室处理了太空船“徘徊者七号”发回的月球照片，这标志着第三代计算机问世后数字图像处理概念开始得到应用。其后，数字图像处理技术得到迅速发展，目前已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界。如今图像处理技术已给人类带来了巨大的经济效益和社会效益。而在图像处理系统中，图像采集是图像处理最重要的前提。前端的图
10、像采集速度及质量，直接影响到图像处理系统后端的算法处理及应用。图像采集卡是常用的图像输入设备，通常占用PC机总线的一个插槽。它主要包括图像存储器单元、CCD或CMOS摄像头接口、PC机总线接口等。传统的图像采集卡大多数采用PCI接口，这种图像采集卡适用于将模拟信号经A/D转换器转换成数字信号，或本身就是数字信号，再通过PCI接口传输至PC机，进行图像处理。但使用嵌入式系统实现图像采集和处理时，带有PCI接口的图像采集卡就不适用。另外在图像处理的实时性方面，一般的所用的PC软件或MCU软件方法已不能满足要求，究其原因就是因为其本质是顺序执行指令，不能做开并行处理。而一般采集的图像数据量较大，运算
11、量也相应比较大。另一方面，现今的图像处理应用也向嵌入式小型化方向发展。因此，现场可编程门阵列（FPGA，FieldProgrammable Gate Array）以其较高的并行处理能力、丰富的内部资源和较大的灵活性，在视频图像处理方面，显现出独特的优势。FPGA，即现场可编程门阵列是用户自编程ASIC的一种，它使用户可以在现场通过编程形成自己所需要的ASIC，并可不断对自己已经提出的要求或初始设计进行更改。1985年，Xilinx公司推出了世界上第一款FPGA，在随后的20多年的发展过程中，FPGA硬件体系结构和软件开发工具都在不断的完善，成熟。现在如今，Xilinx、Altera等世界顶级厂
12、商已经将FPGA器件的集成度提高到一个新的水平。此外，FPGA还嵌入用户可以自己定制的软核CPU，加上完整和多平台设计环境，还可以利用第三方的综合、仿真工具，提高了设计效率，缩短了设计周期。随着现代大容量、高密度、高速度FPGA的出现，在这些FPGA中一般都内嵌有可配置的高速RAM、PLL以及硬件乘法器等DSP专用IP模块，而且在原有逻辑宏单元的基础上嵌入了许多面向DSP的专用模块，结合这些硬件资源使DSP开发者能十分容易地在一片FPGA上实现整个DSP系统，使得之前主要由DSP完成数字图像处理算法，对数字图像进行算法级处理的系统，完全可以在一片FPGA 上来实现，大大缩减了外部硬件电路。同时
13、FPGA中能嵌入高速的ROM和RAM模块，实现高达10Mb/s的读写速率(Altera公司的Stratix系列)，FPGA的设计非常灵活，通用DSP芯片通常只有14个乘法器，而在FPGA中可以配置数十个乘法器(例如Altera公司最新的低成本的CycloneII系列FPGA可以提供多达150个1818位的乘法器)，用来实现通用的DSP功能。很多FPGA供应商提供了专用的开发软件(例如Altera公司的DSP Builder)，以MATLAB工具箱的形式出现，利用MATLAB中的Simulink工具进行图像化设计，建立各种数字信号DSP模型，完成后利用DSP Builder将其转换成硬件描述性语
14、言VHDL，通过综合、下载，最后得到能实现DSP功能的FPGA电路，使得DSP算法处理开发变得简单。1.2 系统整体设计本文主要研究是基于FPGA设计一个完整和视频信号采集与存储系统。本系统能够实时采集数据，其图像的质量可以通过对数字图像传感器进行配置初始化，以得到最佳图像。之后送入FPGA，一方面在TFT液晶屏上实时显示，另一方面在存入SRAM缓存，然后在NIOS II软核中对其进行处理，之后以图片的格式存入SD卡。基本系统框图如图1-1所示：图1-1 系统框图所应用场合如图1-2所示。:图1-2 参考应用场合2 CMOS原理和特性及CMOS摄像头的基本结构2.1 CMOS原理及特性CMOS
15、（Complementary Metal-Oxide-Semiconductor）图像传感器是在60年代末期出现的，但由于其性能的不完善严重影响了图像质量，从而制约了它的发展和应用。在70年代和80年代，CCD在可见光成像方面取得了主角的地位。进入到90年代，由于对小型化、低功耗和低成本成像系统消费需求的增加和芯片制造技术和信号处理技术的发展，为新一代低噪声、优质图像和高彩色还原度的CMOS传感器的开发铺平了道路，CMOS图像传感器成为固体图像传感器的研究开发热点，CMOS传感器的性能也因此大大提高。CMOS图像传感器的迅速发展并商业化得益于成熟的CMOS工艺，目前国外诸多公司和科研机构已经开发出不同光学格式、多种类型的CMOS图像传感器，并将其应用于光谱学、X射线检测、天文学(观测研究)、空间探测、国防、医学、工业等不同的领域。2.1.1 CMOS数字图像传感器基本原理CMOS数字摄像头是由CMOS数字图像传感器芯片、芯片外围电路和光学镜头组成的。在通常情况下，图像传感器芯片的性能就决定了摄像机的性能。典型的CMOS图像传感器芯片是由像素感光阵列及辅助电路构成，其结构如图2-1所示。其中像素感光阵列主要完成光电转换功能，实现图像的
