《一种应用于电视机图像处理的肤色增强算法的设计与实现课件》由会员分享，可在线阅读，更多相关《一种应用于电视机图像处理的肤色增强算法的设计与实现课件（43页珍藏版）》请在金锄头文库上搜索。
1、一种应用于电视机图像处理的肤色增强算法的设计与实现,学生姓名 蔡圣豪 学 号 1121470 指导教师 向伟 学 院 机电学院 专 业 电子科学与技术,摘要,图像处理就是数字图像处理，数字化后的图像可以堪称是存储起来的有序数据，可以通过对数字图像进行处理。我们把利用计算机对图像进行去除、增强、复原等方法技术成为数字图像处理。图像处理技术拥有处理精度高，再现性好，处理的多样性，图像处理技术综合性强等特点。通过图像处理技术，可以提高图像的视感质量，以达到赏心悦目的；提取图像中所包含的某些特征信息；对图像数据进行变换、编码、压缩等方法，以便图像的存储和运输，来帮助我们满足视觉、心理或应用上的需求。
2、本文以一套算法为核心，通过识别人脸并调整皮肤颜色的CbCr值来实现电视机里图像处理使肤色增强。,绪论,电视机的发展现状 目前数字电视占据着市场的主要地位，所谓数字电视(Digital TV)指从电视节目采集、制作、存储、播出到发射、传输、接收全部采用数字编码与数字传输技术的新一代电视系统。由此可见，数字电视不仅仅指我们日常所用的电视机，数字电视机只是数字电视的终端接收设备。数字电视技术与原有的模拟电视相比，有着其无法比拟的优点，数字设备输出信号稳定可靠，易于实现信号的存储，便于数字处理和计算机处理，并且可以合理地利用各种类型的频谱资源，实现各种设备的自动化和多样化操作等等。,绪论,肤色增强的影
3、响 评价数字图像的优劣的参考依据是由人眼主观判断和经验知识作用为主导，并不是一个通用客观的标准。人们在看电视时，一方面希望显示器能够还原自然界的真实色彩，但真实的色彩并不一定满足人们的需求，另一方面由希望显示的色彩符合心理的色彩喜好。特别是电视剧中人们的肤色问题，每个人对于肤色的喜好度是不同的，有的人喜欢更白一些的肤色，有些偏好稍微偏深一些的肤色，另外的则忠于原来的肤色。通过图像中肤色检测和增强，使图像中人物的皮肤变得圆润有光泽。另外，对图像亮度、色度、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服，人们可以根据自己的喜好来调整皮肤颜色。增强肤色不仅可以在视觉上使人愉悦，也可以
4、在心理上影响人们。,绪论,图像增强的现状 目前对于图像处理的方案主要由以下几种： （1）通用计算机 （2）并行处理 （3）专业集成电路 （4）数字信号处理器 （5）现场可编程门阵列,视频信号基础,视频信号制式 目前世界上主流的彩色信号制式可分三种，分别为NTSC制式、PAL制式和SECAM制式。它们具有不同的编码方式、传送频率和刷新速度。PAL制式是我国所采用的标准。PAL制式电视信号由图像信号、复合同步信号、复合消隐信号构成。复合消隐信号的作用是消除显像管在行、场扫描逆过程中产生的回扫线，避免干扰图像信号。复合同步信号分为行同步信号和场同步信号，确保接收和发送两端扫描的同步。这三种信号复合构
5、成一个完整的电视信号。PAL制式中采用的扫描方式是隔行扫描，即一帧图像分两次扫描，得到的两幅图像分别称作奇数场和偶数场。PAL制式采用了YUV的色彩空间。,视频信号基础,YUV和YCbCr色彩空间 YUV 是被欧洲电视系统所采用的一种颜色空间（即一种彩色编码方法）。在现代彩色电视系统中，通常采用红绿蓝三管彩色摄影机进行取像，然后把获得的模拟彩色图像信号经分色、信号放大、校正后得到 RGB，再经过矩阵变换电路得到亮度信号 Y 和两个色差信号 U 和 V（U=RY、V=BY），最后将亮度 Y 和色差 U、V 三个信号分别进行编码，转换成数字信号后从同一信道发送出去。,视频信号基础,YUV和YCbC
6、r色彩空间 YCbCr 颜色空间是由 YUV 颜色空间派生的一种颜色空间，是 YUV 颜色空间压缩和偏移后的版本。其中 Y 与 YUV 中的 Y 含义一致；Cb，Cr 同样都指色度，只是表示方法不同。YCbCr 的应用领域很广泛，JPEG、MPEG 等均采用此格式。一般人们所讲的 YUV 通常是指 YCbCr。YCbCr 有许多采样格式，主要的采样格式有 YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中 YCbCr 4:2:2 比较常用，其含义为：每个点保存一个 8 位的亮度值（也就是 Y 值），每 2 个点保存一个 8 位的色度值（Cb
7、和 Cr 分别为 8 位大小），图像在肉眼中的感觉不会起太大的变化。所以，原来用 RGB(R，G，B 都是 8 位大小，数值范围是 0255)模型，每个点需要 83=24bits，而现在仅需要 8+(8/2)+(8/2)=16bits。这样就把图像数据压缩了。,视频信号基础,YUV和YCbCr色彩空间 YCbCr 和 RGB 是可以相互转换的，转换公式如下：,视频信号基础,ITU-R BT.656协议简介 ITU-R Recommendation BT.656 是一种简单的数字视频协议，用于将未压缩的PAL 或 NTSC 制式（625 行或者 525 行）的信号进行编码。ITU-R BT.65
8、6 协议定义了一个并行的硬件接口，用来传送一路 4:2:2 的 YCbCr 的数字视频流数据。视频流数据的分辨率为 720576 像素的 d1 格式，行、场同步信号嵌入在数据流中。ITU-R BT.656 有 8 位或 10 位的数据传输格式，目前主要使用的是 8 位的数据传输格式。但是在本文设计中所采用的是10位数据传输格式。,图像增强技术,数字亮度瞬态增强DLTI 由于信号在传输过程中有噪声的存在，会造成一定的损失，除了图像中、高频分量减弱外，还会降低图像质量的表现，例如图像轮廓模糊、层次不清边界过度不明显。如图所示。,图像增强技术,数字亮度瞬态增强DLTI Y1、Y2代表两个不同的亮度值
9、，点A为Y1的边界点，点B为Y2的边界点，从A点经过O点逐渐上升到B点的这一段称为亮度信号的过渡带。这一过渡带的大小直接影响到图像的画质。过渡带越窄，图像中两种亮度的边界就越清楚，图像越清晰。而在实际接收到的电视信号中，这一过渡带通常是较宽的，造成图像层次不鲜明。数字亮度瞬态增强(Digital Luminance Transient Improvement，简称DLTI)算法便是检测亮度分量水平方向的过渡带并使过渡带变窄，边缘变陡，增强图像的瞬态特性，使图像边界轮廓变清晰。理想情况下可将过渡带缩短成垂直边缘，如图中的COD所示。,图像增强技术,数字色度瞬态增强DCTI 数字色度瞬态增强(Di
10、gital Color Transient Improvement，简称DCTI)就是对色差信号(Cb、Cr)进行瞬态特性改良，使色度信号的过渡带变窄、边缘变陡，从而增加彩色的清晰度。 DCTI的原理与DLTI一样，所不同的只是DLTI对亮度分量进行处理，而DCTI是对色度分量进行处理。在YCbCr空间中，DCTI是使Cb、Cr信号的边缘变陡。DCTI也可通过移位替代法或叠加勾边法实现。,图像增强技术,图像边缘锐化ES 视频信号传输中由于多种多样的原因，肯定会造成不同程度的中频和高频信号的衰减，进而视频图像的清晰度都会有所降低，视频图像也变得比原始的图像糊糊。而边缘锐化的主要目的是检测视频图像
11、中的中高频信号，并夸张突出它们，进而使视频图像的细节更突出，当然也就是使图像更清晰。 在图像锐化这一块所要做的主要工作就是带通和高通滤波的构造，以及对中频和高频信号的增益系数的设计，这也是算法成功与否的关键。,图像增强技术,黑电平扩展BLE 黑电平扩展技术只对亮度分量进行处理。在数字信号域中，其处理方法是：预先设定一个阀值(THR)，将它与图像的亮度信号比较，将低于这个阀值的信号取出以进行黑电平扩展，扩展的具体方法是用原信号减去阀值得到一个差值，将差值乘以一个小于1的增益，得到增益处理后的亮度信号，再与原始信号相加，得到最终输出，,图像增强技术,白电平扩展WLE 白电平扩展(White1eve
12、l Expansion，简称WLE)与黑电平扩展相似，不同的是它扩展的是白电平部分。它的作用是增强亮度的“浅白”信号，保持黑电平不变，使“浅白”变得更白，从面提高图像的对比度，传输函数如下：,图像增强技术,肤色补偿FTC 人对人体的肤色区域比较敏感，当色调调整对其他颜色调整得效果比较好时，仍容易觉得肤色区域色彩不自然。肤色校正(Flesh Tone Correction，FTC)的功能便是专门针对肤色对色度信号进一步的调整，使人体皮肤看起来更加自然。因此，肤色校正包含两个步骤：肤色区域分割及肤色校正。 研究表明，尽管不同种族、不同年龄、不同性别的人体肤色看上去不同，但是这种不同主要集中在亮度上
13、，在去除亮度的色度空间中，不同人的肤色都集中分布在一定的范围内。这个区域范围与所采用的色彩空间有关。 大量研究数据表明，在YUV（YCbCr）色彩空间中当77Cb127且133Cr173时，为肤色区间。当确定肤色区间后，根据设定的参数，对Cb和Cr的值进行补偿，即可完成肤色校正。,图像增强技术,亮度、对比度调整BCA 在YCbCr色彩空间中，亮度、对比度调整对亮度分量Y进行处理。图像的对比度是指图像中最亮区域与最暗区域的亮度比值。对比度越高，能够表现的灰度层次和色彩层次越丰富，图像越清晰醒目，而对比度小，会让整个画面都灰蒙蒙的。对比度拉伸的思想是提高图像处理时灰度级的动态范围，常用的调整对比度
14、的方法有幂次变换、分段线性变换、直方图处理等。,图像增强技术,色度、饱和度调整HAS 色调和饱和度只处理色度信号，对于YCbCr信号，只针对输入的Cb、Cr信号进行色调和饱和度调整。色调由光的波长决定，不同波长的光代表不同的色调，它们之间也可能互相配合而产生新的色调。色饱和度是指颜色的深浅程度。它与彩色光中所含白色的比例有关。白色的比例越多，色饱和度越低；白光的比例越小，色饱和度越高。通过分别在Cb、Cr信号上乘以一个可调的常数来控制调整色度和饱和度。,FPGA设计方法,层次化设计中自顶向下的结构示意图,FPGA设计方法,FPGA开发流程,图像增强模块整体设计,功能描述 图像增强模块主要用于数
15、字电视系统图形后处理设计。电视观众对于图像质量的需求，往往是希望观看的图像明亮、清晰、背景噪声小、黑白层次得当，并富有轻微的立体感。但是模拟信号在传输过程中不可避免的高频分量会损失，造成的后果就是图像轮廓模糊，层次不清。如果一幅图像能够将其轮廓勾画清楚，往往可以给人留下深刻的印象，对提高图像质量起到事半功倍的效果。所以在数字电视系统中需要通过图形增强的处理，通过数字亮度、色度瞬态增强（DLTI、DCTI）以及图像锐化（SHARPER）将图像轮廓勾画清楚，通过黑白电平延伸（BLE、WLE）将图像明暗层次更加鲜明，通过图像中肤色检测和增强，使图像中人物的皮肤变得圆润有光泽。另外，对图像亮度、色度、
16、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服。,图像增强模块整体设计,设计环境 整个模块的设计是在Altera公司的Quartus II 14.0下进行的，模块的仿真验证是在Mentor公司的ModelSim SE 10.2c下进行的。本设计选用Altera公司的Cyclone IV E系列的EP4CE10F17C8来完成参考设计。该芯片采用65nm的工艺结构，包含10320的逻辑单元（Logic Element，LE），共256个引脚，其中用户引脚（User I/Os）为180个，Block RAM大小为423936bit，即46个M9K资源，2个PLL锁相环，10个全局时钟管脚，速度等级为8。最后通过Quartus II 14.0完成逻辑的编译和综合以及布线布局，生成了静态时序分析报告和系统整体设计报告。,图像增强模块整体设计,功能框图,图像增强模块整体设计,（1）亮度瞬态增强电路，用于恢复图像亮度信号的高频分量，使过渡带变窄，边缘变陡。 （2）色度瞬态增强电路，用于恢复图像色度信号的高频分量，使图像色度信号
