《数字视频图像处理PPT电子课件教案第一章 数字图像基础》由会员分享，可在线阅读，更多相关《数字视频图像处理PPT电子课件教案第一章 数字图像基础（115页珍藏版）》请在金锄头文库上搜索。
1、北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心第第01章章 数字图像基础数字图像基础Foundation of DIP Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心
2、心门门爱爱东东第第1章章 数字图像基础数字图像基础n人眼的构造人眼的构造n视觉心理学视觉心理学视觉感知特性视觉感知特性n黑白视觉的数学模型黑白视觉的数学模型n二维空间频率与视频时间信号谱二维空间频率与视频时间信号谱n线性移不变滤波器线性移不变滤波器n傅里叶变换傅里叶变换n矩阵表示矩阵表示n随机过程及其分类随机过程及其分类n随机场的相关模型随机场的相关模型n随机场的线性系统模型随机场的线性系统模型一阶因果模型一阶因果模型n图像的逼真度图像的逼真度2 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunic
3、ation Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.1人眼的构造人眼的构造n 眼睛的主要结构如图眼睛的主要结构如图1.1所示。外面是一层较硬的膜，其所示。外面是一层较硬的膜，其前面一部分是透明的，称为角膜。后面大部分称为巩膜，前面一部分是透明的，称为角膜。后面大部分称为巩膜，起外壳作用。膜内是一个空室，称为前室。前室后面是虹起外壳作用。膜内是一个空室，称为前室。前室后面是虹膜，虹膜中间有一小孔，称为瞳孔，其直径可在膜，虹膜中间有一小孔，称为瞳孔，其直径可在2到到8mm间变化，以调节进入眼睛的光通量。瞳孔后面
4、是一个透镜间变化，以调节进入眼睛的光通量。瞳孔后面是一个透镜式的水晶体，起透镜作用，把景象的光聚焦到视网膜上去式的水晶体，起透镜作用，把景象的光聚焦到视网膜上去成像。水晶体的后面是眼睛的内腔，称为后室，内有粘液，成像。水晶体的后面是眼睛的内腔，称为后室，内有粘液，也起滤光作用，以保护眼睛。后壁则为视网膜，由大量的也起滤光作用，以保护眼睛。后壁则为视网膜，由大量的光敏细胞组成。光敏细胞组成。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学
5、学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东人眼的构造人眼的构造n光敏细胞可分为两类，一类是锥状细胞，另一类是杆状细光敏细胞可分为两类，一类是锥状细胞，另一类是杆状细胞。锥状细胞大约有一亿个以上。它们在视网膜上的分布胞。锥状细胞大约有一亿个以上。它们在视网膜上的分布是很不均匀的，在视网膜中央正对着瞳孔的一个不大的区是很不均匀的，在视网膜中央正对着瞳孔的一个不大的区域里，锥状细胞最多最密，没有杆状细胞，这一区域叫做域里，锥状细胞最多最密，没有杆状细胞，这一区域叫做黄斑。向外离开黄斑越远，视网膜上杆状细胞的数目越多，黄斑。向外离开黄斑越远，视网膜上杆状细胞的数目越
6、多，在接近边缘的地方，几乎都是杆状细胞了。在接近边缘的地方，几乎都是杆状细胞了。n 锥状细胞除了能够区别明暗以外，还能辨别光的颜色，即锥状细胞除了能够区别明暗以外，还能辨别光的颜色，即不但能感光，也能感色。但是，杆状细胞却只能感光，不不但能感光，也能感色。但是，杆状细胞却只能感光，不能感色。在亮光时，锥状细胞起作用，能看清彩色景象。能感色。在亮光时，锥状细胞起作用，能看清彩色景象。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息
7、息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东人眼的构造人眼的构造n在黄斑的中心部分，每个锥状细胞连接着一个神经末梢，在黄斑的中心部分，每个锥状细胞连接着一个神经末梢，因此分辨景象细节的能力强。在远离黄斑的网膜上，神经因此分辨景象细节的能力强。在远离黄斑的网膜上，神经末梢分布较稀疏，锥状和杆状细胞群接合在一条神经上，末梢分布较稀疏，锥状和杆状细胞群接合在一条神经上，所以这些视神经所传递的是这二种细胞群受光刺激后发出所以这些视神经所传递的是这二种细胞群受光刺激后发出的平均电脉冲，故分辨能力差，但是感光灵敏度却高些。的平均电脉冲，故分辨能力差，但是感光灵敏度却高些。视神经在
8、视网膜上汇聚到一点，通向大脑，此点无光敏细视神经在视网膜上汇聚到一点，通向大脑，此点无光敏细胞，称为盲点。胞，称为盲点。n视觉是主观对客观的反应，是一种主观感觉。视觉包括光视觉是主观对客观的反应，是一种主观感觉。视觉包括光感觉与色感觉，色感觉又有色调与色饱和度之分。色调即感觉与色感觉，色感觉又有色调与色饱和度之分。色调即颜色的类别，色饱和度指某种颜色的浓度。颜色的类别，色饱和度指某种颜色的浓度。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电
9、大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.2视觉心理学视觉心理学 视觉感知特性视觉感知特性 从视觉生理学从视觉生理学 (psychophysics) 的角度，的角度，人眼的视觉系统可以被看成一个输入人眼的视觉系统可以被看成一个输入-输出输出系统，输入是视觉刺激（系统，输入是视觉刺激（visual stimuli）,输输出是感觉。显然，视觉系统完全可以由这个出是感觉。显然，视觉系统完全可以由这个“黑盒子黑盒子”的传输函数来定义。的传输函数来定义。n光强的感知特性光强的感知特性n空间频率的感知特性空间频率的感知特性n时间的感知特性时间的感知特性 Dig
10、ital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东光强的感知特性n定义定义1：在给定某个亮度环境下，人眼刚好能够区分的：在给定某个亮度环境下，人眼刚好能够区分的2个个相邻区域的亮度差别的最小值，称为相邻区域的亮度差别的最小值，称为视觉阈（视觉阈（Visibility Threshold）。 视觉阈值的大小与观察条件（例如周围环境的亮度、邻近视觉阈值的大小与观察条件（例如
11、周围环境的亮度、邻近区域亮度的变化等）有关。区域亮度的变化等）有关。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 考虑图考虑图1.2(a) 所示情况，其中环境亮度为所示情况，其中环境亮度为 ，图的中间有，图的中间有一个张角为一个张角为 、亮度为、亮度为 的环，环内包围着一个亮度为的环，环内包围着一个亮度为 的小区域。调节的的小区域。调节的 大小使其刚好能被
12、察觉到与大小使其刚好能被察觉到与 有所有所不同，则不同，则 为为视觉阈，视觉阈，或者称为或者称为临界对比度临界对比度。它与。它与背景亮度和环境亮度，以及背景和环境的尺寸大小有关。背景亮度和环境亮度，以及背景和环境的尺寸大小有关。如图如图1.2(b)所示。在所示。在 的情况下，视觉阈的情况下，视觉阈 几乎随几乎随 线线性增长，即性增长，即 为常数，这就是为常数，这就是韦伯定律（韦伯定律（Webers law）。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北
13、北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 根据韦伯定律，根据韦伯定律， (1.1)所以所以 (1.2) (1.2) 表明人眼对光的主观视觉增量与客观亮度的对数增长表明人眼对光的主观视觉增量与客观亮度的对数增长成线性关系，即成线性关系，即 ，如图，如图1.3中直线部分所示。中直线部分所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒
14、体体技技术术中中心心门门爱爱东东 图图1.3是实验获得的人眼对不同亮度的主观亮度感觉级数曲是实验获得的人眼对不同亮度的主观亮度感觉级数曲线。曲线中间有折断点，表示两种细胞的感觉不一样。亮线。曲线中间有折断点，表示两种细胞的感觉不一样。亮度低时杆状细胞起作用。亮度高时锥状细胞起作用，在某度低时杆状细胞起作用。亮度高时锥状细胞起作用，在某些亮度时二者同时起作用。每一种细胞的感觉曲线的中间些亮度时二者同时起作用。每一种细胞的感觉曲线的中间部分都近于直线，这表示感觉差一级时，亮度的差部分都近于直线，这表示感觉差一级时，亮度的差 并不并不是常数，而是常数，而 是常数。也就是说，当亮度大时，是常数。也就是
15、说，当亮度大时，二者的差别二者的差别 也要大才能感觉到亮度的差别。但在亮度很也要大才能感觉到亮度的差别。但在亮度很大或很小时，则与每一感觉级相对应的大或很小时，则与每一感觉级相对应的 要更大一些，要更大一些，示如曲线两端的弯曲部分。示如曲线两端的弯曲部分。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东n定义定义2：眼睛所能感觉到的亮度级差：眼睛所能感觉到的亮
16、度级差 (1.3) 称为称为对比度阈对比度阈，常称，常称韦伯比（韦伯比（Weber Ratio）。 韦伯比表示相对某一亮度能引起亮度感觉差别所必需的最韦伯比表示相对某一亮度能引起亮度感觉差别所必需的最小相对亮度变化。小相对亮度变化。 在对视频信号的亮度分量进行在对视频信号的亮度分量进行PCM数数/模转换时，通常就模转换时，通常就是根据上述的视觉阈效应来选择合适的量化级数。是根据上述的视觉阈效应来选择合适的量化级数。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BU
17、PT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东n 另一方面，图另一方面，图1.3的亮度感觉曲线还表明人眼的视觉范的亮度感觉曲线还表明人眼的视觉范围是非常宽阔的，它能感觉亮度低至千分之几围是非常宽阔的，它能感觉亮度低至千分之几cd/m2的光，的光，也能感受亮度高至百万也能感受亮度高至百万cd/m2的光，差别达的光，差别达 这样大的视这样大的视觉范围是由于眼睛有适应性。这是人眼适应性的第一种表觉范围是由于眼睛有适应性。这是人眼适应性的第一种表现现 n 在实际条件下观看某一景象时，眼睛已适应于景象的在实际条件下观看某一景象时，眼睛已适应于景象
18、的某一平均亮度，也就是说已调节到某一平均灵敏度，这时某一平均亮度，也就是说已调节到某一平均灵敏度，这时视觉范围就小多了。这是人眼适应性的第二种表现，它说视觉范围就小多了。这是人眼适应性的第二种表现，它说明人眼是绝不可能同时观看图明人眼是绝不可能同时观看图1.3所示那么大的视觉范围的所示那么大的视觉范围的. Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东n实验证
19、明，在平均亮度一定时，人眼能观察到亮度差别实验证明，在平均亮度一定时，人眼能观察到亮度差别（即景象层次）的范围如图（即景象层次）的范围如图1.4中虚线所示，图中按不同的中虚线所示，图中按不同的平均亮度给出了相应的范围。可见，当平均亮度平均亮度给出了相应的范围。可见，当平均亮度 为一定为一定值时，大约在它周围值时，大约在它周围 的范围内，对比度阈保持在比的范围内，对比度阈保持在比较小的数值，人眼有区别亮度层次的能力。较小的数值，人眼有区别亮度层次的能力。 n图图1.4的曲线还表明，由于人眼的适应性，对于明暗的感觉的曲线还表明，由于人眼的适应性，对于明暗的感觉是相对的，同一个亮度，在某种平均亮度下
20、可能给人以白是相对的，同一个亮度，在某种平均亮度下可能给人以白的感觉，但在更高的平均亮度下却可能给人以黑的感觉。的感觉，但在更高的平均亮度下却可能给人以黑的感觉。因此，对于一副景象，重要的是体现其相对的明暗层次。因此，对于一副景象，重要的是体现其相对的明暗层次。利用这一原理，电视实现了比自然景象亮度范围小得多的利用这一原理，电视实现了比自然景象亮度范围小得多的景象视觉。景象视觉。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息
21、与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东空间频率的感知特性 空间频率是指单位视角空间频率是指单位视角 ( ) 内所含黑或白的条纹数，单位内所含黑或白的条纹数，单位是线是线/度。假设人眼的视觉系统是一个线性系统，如果已知度。假设人眼的视觉系统是一个线性系统，如果已知该系统的冲击响应或者传输函数，则可以计算出给定背景该系统的冲击响应或者传输函数，则可以计算出给定背景亮度下的视觉阈值亮度下的视觉阈值 。如果用不随时间变化的空间正弦光栅。如果用不随时间变化的空间正弦光栅作为人眼的测试信号，即作为人眼的测试信号，即 (1.4) 则可以得到视觉阈随空间频率变化的函数则可以得到视
22、觉阈随空间频率变化的函数 。例如图。例如图1.5所所示的曲线是在背景亮度为示的曲线是在背景亮度为500cd/m2的条件下得到的。这个的条件下得到的。这个函数被称为函数被称为对比度灵敏度函数(Contrast Sensitivity Function)。它具有特定的形状，空间频率在它具有特定的形状，空间频率在3-4.5 Cycles/degree时有最时有最大值，即最小对比度阈。大值，即最小对比度阈。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮
23、电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 值得说明的是，图值得说明的是，图1.5实际上不是视觉阈对空间频率的函实际上不是视觉阈对空间频率的函数，而是对比度灵敏度对空间频率的函数。数，而是对比度灵敏度对空间频率的函数。对比度灵敏度的定义是，平均背景亮度的定义是，平均背景亮度 与测试信号达到视觉阈时的调与测试信号达到视觉阈时的调制电平制电平 的比；或者说是对比度阈的比；或者说是对比度阈 的倒数。的倒数。 在在(1.4)式中，式中， 是背景亮度，是背景亮度， 是正弦光栅的空间频率，是正弦光栅的空间频率， 是空间频率偏离纵轴的角度，是空间频率偏离纵轴的角
24、度， 是调制电平，是调制电平， 是时间频率。是时间频率。对于给定的对于给定的 ，通过调整，通过调整 得到在得到在 、 和和 的各种取的各种取值情况下的视觉阈。图值情况下的视觉阈。图1.6(a)给出一种测试光栅图样，图给出一种测试光栅图样，图1.6(b)是前人的各种实验得出的对比度灵敏度函数曲线是前人的各种实验得出的对比度灵敏度函数曲线。 可得到如下结论可得到如下结论: Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信
25、工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 (1)给定光栅的 和 ，视觉阈主要取决于调制深度 ，而不单单取决于背景亮度 或调制电平 。(2)对比度灵敏度，即达到视觉阈时 的值，随着空间频率 从低频到中频近似线性地增大，并在中频区段取得最大值。从图1.6(b)可见，在空间频率的方向上，人眼对亮度的作用相当于一个带通或低通滤波器(3)对比度灵敏度还与光栅的角度 有关。它在垂直或水平光栅时取得最大值，随着光栅偏离水平或垂直轴而减小，在 角时大约减小3dB。(4)图1.7给出了视觉对彩色变化的频率响应。由图可见，人眼对亮度的空间分辩力明显地比对色度的空间分辨力要高。因此，在图像及视频传输
26、时就可以使用较少的比特数来传输色度信号，以达到压缩数据量、节省带宽资源的目的 。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东n视觉的空间掩蔽视觉的空间掩蔽 (spatial masking) 效应也发生在空效应也发生在空间频域。实验发现，背景间频域。实验发现，背景亮度变化（不均匀性）剧亮度变化（不均匀性）剧烈时，对比度灵敏度就会烈时，对比度灵敏度就会下降，
27、即视觉阈增大。这下降，即视觉阈增大。这被称为空间掩蔽效应。图被称为空间掩蔽效应。图1.8、1.9给出了典型的实验给出了典型的实验结果。在该试验中，一条结果。在该试验中，一条很细的垂直光线出现在有很细的垂直光线出现在有一条垂直亮度边界的背景一条垂直亮度边界的背景的不同位置上，这条光线的不同位置上，这条光线在不同位置上的视觉门限在不同位置上的视觉门限（即光线刚好能被识别时（即光线刚好能被识别时的亮度值）曲线如图的亮度值）曲线如图1.8所所示。示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunicat
28、ion Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东关于空间掩蔽效应，一些相关实验得出的几点重要结论如下：(1)在接近边界的两边，光线的视觉阈增大。(2)在对比度 较小的边界附近，掩蔽效应也较弱。(3)从图1.9可以看出掩蔽效应是一种
29、非常局部化的效应，仅出现在背景亮度剧烈变化的边界附近很窄的区域上。(4)若背景掩蔽边缘出现的时间很短，则视觉阈不会有明显的提高。例如无意识的眼运动就是这种情况。 现代压缩编码中无例外的都利用了人眼的视觉掩蔽效应。现代压缩编码中无例外的都利用了人眼的视觉掩蔽效应。例如，使用不均匀量化步长例如，使用不均匀量化步长 (step size) 的的DPCM量化就是依赖量化就是依赖于亮度的空间变化对误差的掩蔽。又如，对噪声的主观感于亮度的空间变化对误差的掩蔽。又如，对噪声的主观感受受图像内容的影响，在图像亮度跳变边沿处，视觉阈增高。受受图像内容的影响，在图像亮度跳变边沿处，视觉阈增高。即此处噪声的可见度降
30、低。在图像大面积处（亮度变化缓即此处噪声的可见度降低。在图像大面积处（亮度变化缓慢），视觉阈降低，即对噪声敏感。慢），视觉阈降低，即对噪声敏感。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 需要强调的是，不应把空间掩蔽效应与马赫效应需要强调的是，不应把空间掩蔽效应与马赫效应 (Mach effect）混淆。）混淆。马赫效应指的是在边界处感知到的亮度的变指的
31、是在边界处感知到的亮度的变化，如图化，如图1.10所示，在较亮的一侧亮度明显地增大，而在较暗所示，在较亮的一侧亮度明显地增大，而在较暗的一侧亮度明显地减小。因此，感知到的对比度增大，亮的的一侧亮度明显地减小。因此，感知到的对比度增大，亮的一侧更亮，暗的一侧更暗。通常认为，人眼的横向抑制一侧更亮，暗的一侧更暗。通常认为，人眼的横向抑制 (lateral inhibition) 作用是导致马赫效应的主要原因。作用是导致马赫效应的主要原因。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication
32、Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东时间的感知特性n视觉系统的时域特性研究的是外界亮度以不同的视觉系统的时域特性研究的是外界亮度以不同的时间频率进行变化时，人眼的视觉敏感度。时域时间频率进行变化时，人眼的视觉敏感度。时域中的视觉阈值对于帧间编码技术十分重要。中的视觉阈值对于帧间编码技术十分重要。n其中一个重要的时域视觉阈值就是其中一个重要的时域视觉阈值就是临界闪烁频率 (Critical Flicker Fusion Frequency)。如果让观察。如果让观察者观察按时间重复的亮度脉冲，当脉冲重复频率者观
33、察按时间重复的亮度脉冲，当脉冲重复频率不够高时，人眼就有一亮一暗的感觉，称之为不够高时，人眼就有一亮一暗的感觉，称之为闪闪烁烁(Flicker)。如果重复频率足够高，闪烁感觉消失，。如果重复频率足够高，闪烁感觉消失，看到的则是一个恒定的亮点。闪烁感刚好消失时看到的则是一个恒定的亮点。闪烁感刚好消失时的频率称为的频率称为临界闪烁频率。 n临界闪烁频率在图像与视频处理中应用的非常广泛，视频临界闪烁频率在图像与视频处理中应用的非常广泛，视频采集和显示设备的帧率必须大于临界闪烁频率，以避免人采集和显示设备的帧率必须大于临界闪烁频率，以避免人眼觉察到闪烁现象。眼觉察到闪烁现象。 Digital Vide
34、o Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.3黑白视觉的数学模型黑白视觉的数学模型n 光线进入人眼首先要经过由角膜、晶状体组成的前端光光线进入人眼首先要经过由角膜、晶状体组成的前端光学系统，其功能相当于一个二维低通光学镜头，系统函学系统，其功能相当于一个二维低通光学镜头，系统函数为数为 。在电磁波谱范围内，分布在约。在电磁波谱范围内，分布在约380780nm波长范围的电磁波可以
35、被人类视觉感知，称为可见光。波长范围的电磁波可以被人类视觉感知，称为可见光。人眼对不同波长光的敏感程度并不相同，该特性用视觉人眼对不同波长光的敏感程度并不相同，该特性用视觉系统的相对光效率函数系统的相对光效率函数 描述，如图描述，如图1.12所示。来自光所示。来自光分布函数为分布函数为 的空间物体的光经过人眼空间响应的空间物体的光经过人眼空间响应之后的输出空间分布函数为：之后的输出空间分布函数为： (1.5) Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北
36、北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东n接下来，杆状细胞和锥状细胞的作用是使人眼对亮度的对接下来，杆状细胞和锥状细胞的作用是使人眼对亮度的对比度进行分辨而不是亮度本身，用非线性函数比度进行分辨而不是亮度本身，用非线性函数 表示，表示，输出为对比度输出为对比度 。 n最后视觉细胞中的横向抑制效应可用空间频率相应为最后视觉细胞中的横向抑制效应可用空间频率相应为 的空不变的空不变 (spatially invariant) 的、各向同性的、线性系统的、各向同性的、线性系统来表示，输出是神经信号，即人眼感受到的主观亮度来表示，输出是神经信号，
37、即人眼感受到的主观亮度。人眼的黑白系统的总体模型如图人眼的黑白系统的总体模型如图1.13所示：所示： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.4二维空间频率与视频时间信号谱二维空间频率与视频时间信号谱二维空间频率n数字图像是分布在二维空间的样值阵列，因此需要研究其数字图像是分布在二维空间的样值阵列，因此需要研究其二维空间频率。以下我们通过几个二维空间
38、信号的例子来二维空间频率。以下我们通过几个二维空间信号的例子来直观的了解二维空间频率的概念直观的了解二维空间频率的概念 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮
39、邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东视频时间信号及频谱视频时间信号及频谱1、二维取样的定义、二维取样的定义 视频信号通常在摄像机的输出端，通过扫描二维的运动场景，并将其转化为一维的电信号来产生。运动场景是一组图片或图像，每幅被扫描的图像生成一帧视频信号。扫描从
40、图像的左上开始，到右下结束，如图1.16所示。恒速扫描定义为从左至右的扫描速率为 ，从上至下的扫描速率为 ，即： （1.7） （1.8）其中，H是行周期，F是帧周期；a、b分别是图像宽度和高度。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 线性恒速扫描等效为将图像在x方向及y方向上无限重复地取样，从而将二维图形变为一维时间信号。图1.17是逐行扫描和隔行扫
41、描。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东2、频谱分析、频谱分析 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东
42、Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.5、线性移不变滤波器、线性移不变滤波器 用用 表示表示 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体
43、技技术术中中心心门门爱爱东东线性系统线性系统 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东移不变系统移不变系统 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多
44、媒媒体体技技术术中中心心门门爱爱东东线性移不变（线性移不变（LSI）系统）系统 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东离散卷积的直接运算离散卷积的直接运算 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电
45、电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.6 傅立叶变换傅立叶变换n二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性 n离散信号的展开离散信号的展开 Digital Video Image Processing 数字图像基础, Men Aidon
46、g, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性 n二维离散图像信号的付氏变换和反变换如下：二维离散图像信号的付氏变换和反变换如下： (1.19a) (1.19b) 其中，其中，m、n为空间坐标，为空间坐标，k、l为空间频率。为空间频率。k、l的单位是的单位是m、n的单位的倒数。的单位的倒数。 Digital Video Image Processing 数字图像基础, Men Aidon
47、g, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性n下面介绍二维离散图像信号的付氏变换的一下面介绍二维离散图像信号的付氏变换的一些特性。些特性。n(1)空间频率空间频率 在在1.4.1节已讲述二维连续空间信号的空间节已讲述二维连续空间信号的空间频率的概念。对于二维离散的亮度信号频率的概念。对于二维离散的亮度信号 ，空间频率就是空间单位距离内亮度的变化数，空间频率就是空间单位距离内亮度的变化数
48、，有时用有时用cycles/degree (观察角观察角)来表示。来表示。n(2)可分离性可分离性 从式从式(1.19a)可知，付氏变换的基核是可分离可知，付氏变换的基核是可分离的，即可以对的，即可以对m和和n分别作变换：分别作变换： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性n(3)传输
49、函数及特征函数（特征矢量）传输函数及特征函数（特征矢量） 特征函数的定义：用特征函数做输入，则特征函数的定义：用特征函数做输入，则输出等于此输入函数乘传输函数（它是频率输出等于此输入函数乘传输函数（它是频率的函数，即传输函数）。的函数，即传输函数）。n容易证明，容易证明， 是满足以上定义的是满足以上定义的特征函数。特征函数。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心
50、门门爱爱东东二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性n(4)两函数卷积等于两函数付氏变换之积。两函数卷积等于两函数付氏变换之积。 若若 则，则，n(5)能量保持能量保持 若若 是是 的傅立叶变换，则的傅立叶变换，则 。n(6)由付氏变换的相位函数恢复原图像由付氏变换的相位函数恢复原图像 若是的傅立叶变换，则用相位幅度的形式若是的傅立叶变换，则用相位幅度的形式表示为：表示为： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮
51、邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东二维离散图像信号的付氏变换及其特性二维离散图像信号的付氏变换及其特性n从相位恢复的信号为：从相位恢复的信号为：n从幅度恢复的信号为：从幅度恢复的信号为：n其中，其中， 是傅立叶反变换运算符。是傅立叶反变换运算符。 实践表明，实践表明， 比比 更像原始图像更像原始图像 。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学
52、学院院多多媒媒体体技技术术中中心心门门爱爱东东1.6.2 离散信号的展开离散信号的展开n用基函数作信号的展开，可实现各种正交变用基函数作信号的展开，可实现各种正交变换（付氏变换及小波变换），进一步易于用换（付氏变换及小波变换），进一步易于用滤波器组（滤波器组（filter bank）实现。）实现。 n离散信号展开的原理：离散信号展开的原理： 是平方可积序列是平方可积序列 , 则在平方可积空间则在平方可积空间 中中 可正交展可正交展开为：开为：n其中，其中， 是是 的变换。的变换。 基函数基函数 满足正交条件：满足正交条件： Digital Video Image Processing 数字图像
53、基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东离散信号的展开离散信号的展开n正交展开的一个重要特性是能量保持：正交展开的一个重要特性是能量保持： (1.22) Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心
54、门门爱爱东东离散信号的展开离散信号的展开n作为数字图像处理中常用的工具，我们在这作为数字图像处理中常用的工具，我们在这里考察傅立叶变换的离散性和周期性在时域里考察傅立叶变换的离散性和周期性在时域与变换域中的对应关系。根据不同的组合列与变换域中的对应关系。根据不同的组合列表如下：表如下：时域时域变换域变换域傅氏级数傅氏级数连续连续周期周期离散离散非周期非周期傅氏变换傅氏变换连续连续非周期非周期连续连续非周期非周期离散时间傅氏离散时间傅氏变换变换离散离散非周期非周期连续连续周期周期离散傅氏级数离散傅氏级数离散离散周期周期离散离散周期周期离散傅氏变换离散傅氏变换离散离散非周期非周期离散离散非周期非周
55、期 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换n（1）傅氏级数）傅氏级数 给定平方可积周期函数给定平方可积周期函数 ，其周期为，其周期为T，即即 ，则它可表示为频率为，则它可表示为频率为 的复指数函数的线性组合：的复指数函数的线性组合： （1.23a） 其中，其中， （1.23b） Digital Video Image Process
56、ing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换n（2）傅氏变换）傅氏变换 给定绝对可积函数给定绝对可积函数 ，它的傅氏变换：，它的傅氏变换： （1.24a） 其反变换：其反变换： （1.24b） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电
57、大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换n（3）离散时间傅氏变换）离散时间傅氏变换 给定序列给定序列 为平方可积的，其基函为平方可积的，其基函数为数为 ， （1.25a） 它以它以 为周期，其逆变换为：为周期，其逆变换为： （1.25b） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅
58、立叶变换n（4）离散时间傅氏级数）离散时间傅氏级数 若离散时间序列是周期为若离散时间序列是周期为N的信号，即的信号，即 ，基函数为，基函数为 ，则，则 的离散时间傅氏的离散时间傅氏级数表示为：级数表示为： （1.26a） 其中，其中， （1.26b） （1.27） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换n此时两卷积为周期卷积此时两卷
59、积为周期卷积 其中其中 和和 等于等于 和和 的一个周期。的一个周期。即即 。n以上四种傅氏变换以上四种傅氏变换/级数的时域和频域波形级数的时域和频域波形示意图如图所示。示意图如图所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换 Digital Video Image Processing 数字图像基础, Men Aidong, Mu
60、ltimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东傅立叶变换傅立叶变换n（5）离散傅氏变换）离散傅氏变换 有限长的离散时间序列有限长的离散时间序列 的傅氏变换叫离的傅氏变换叫离散傅氏变换（散傅氏变换（DFT），可实现），可实现FFT，基函数，基函数为为 ，则，则 的离散傅氏变换为的离散傅氏变换为 （1.29a） 逆变换逆变换 （1.29b） 其中其中 。 Digital Video Image Processing 数字图像基础, Men Aidong, Multim
61、edia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7 矩阵表示矩阵表示n1.7.1 二维图像的矩阵向量表示二维图像的矩阵向量表示n1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信
62、信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.1 二维图像的矩阵向量表示二维图像的矩阵向量表示n将二维图像写成向量形式，便于利用一维信将二维图像写成向量形式，便于利用一维信号处理方法。二维图像的坐标表示到矩阵表号处理方法。二维图像的坐标表示到矩阵表示的映射如图示的映射如图1.23所示。所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1
63、.7.1 二维图像的矩阵向量表示二维图像的矩阵向量表示n二维图像的行列矩阵表示为：二维图像的行列矩阵表示为： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.1 二维图像的矩阵向量表示二维图像的矩阵向量表示n用列（或行）向量用列（或行）向量 表示表示 。 Digital Video Image Processing 数字图像基础, Men Aidong,
64、 Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n用矩阵向量表示卷积，如图用矩阵向量表示卷积，如图1.24所示。所示。n由扫描矩阵由扫描矩阵 得到得到 ，由扫描，由扫描 得到得到 。卷积的矩阵向量表示为：。卷积的矩阵向量表示为： （1.30） 其中其中 是是 维的矩阵。维的矩阵。 与系统的冲击响应有关，关系在后页分析。与系统的冲击响应有关，关系在后页分析。 Digital Video Image Proces
65、sing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n(1) 一维的情况一维的情况 若若 与与 长度不同，分别为长度不同，分别为 和和 ，即即 用补零的方法将它们变为长度用补零的方法将它们变为长度 。于是有线性卷积：。于是有线性卷积： （1.31） Digital Video Image Processing 数字图像基础, Men Aidong, Multimed
66、ia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n写为矩阵形式：写为矩阵形式： 或者，或者，(1.32) 其中，其中， 的构成元素的构成元素 取决于取决于 ，满足满足 （1.33） 这就是这就是Toeplitz矩阵矩阵。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学
67、信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n对于因果系统有对于因果系统有 ，所以，所以n为实现快速算法，在为实现快速算法，在 NM1+M2-1时，可用时，可用循环卷积来计算该线性卷积。长为循环卷积来计算该线性卷积。长为N的两个的两个序列序列 和和 的循环卷积为的循环卷积为 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学
68、院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n式中式中 表示整数模的最小非负余，例如表示整数模的最小非负余，例如图图1.25所示。所示。 用矩阵表示为：用矩阵表示为： 或者，或者， 其中，矩阵其中，矩阵 既是既是Toeplitz矩阵，也是循环矩阵。矩阵，也是循环矩阵。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱
69、爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n(2) 二维情况二维情况 设设 大小为大小为 ， 大小为大小为 ，将它们都变成大小为，将它们都变成大小为 的延伸图像，的延伸图像，如图如图1.26所示，方法是在上述序列中加零：所示，方法是在上述序列中加零： （1.36） （1.37） 其中，其中， Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7
70、.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n则循环卷积为则循环卷积为 （1.38） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.2 卷积的矩阵向量积表示卷积的矩阵向量积表示n将一维的结论直接用在二维上，有：将一维的结论直接用在二维上，有： 或者，或者， 即，即， 其中其中 、 为列矢量，每个列矢量含为列矢量，每个列矢量含M个像元。个像元。 由由
71、个子块个子块 组成，每一子块组成，每一子块 是是 维维的矩阵，由的矩阵，由 的第的第 j 列构成的循环矩阵。列构成的循环矩阵。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理n如前所述，数字图像可以很方便的使用矩阵如前所述，数字图像可以很方便的使用矩阵 形式表示，这就给图像在计算机中的表示及形式表
72、示，这就给图像在计算机中的表示及处理带来了方便。处理带来了方便。n设矩阵中的元素代表设矩阵中的元素代表 8 bit 数字图像中的象数字图像中的象素，取值范围为素，取值范围为 0 至至 255 之间的整数。因此之间的整数。因此该元素可使用该元素可使用 C 语言中的符号类型或浮点语言中的符号类型或浮点数类型来表示：数类型来表示： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心
73、门门爱爱东东1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理n实际应用中，图像的大小往往是预先不知道实际应用中，图像的大小往往是预先不知道的，同时，的，同时，M、N 是不能作为声明变量来在是不能作为声明变量来在函数间传递的。这样，指针就成为解决这一函数间传递的。这样，指针就成为解决这一问题的最好方法。问题的最好方法。n数组可以使用内存分配进程数组可以使用内存分配进程 malloc 动态生动态生成：成：unsigned char *a;a = (unsigned char*) malloc (N * size of (unsigned char);n类似的，声明浮点类型一维数组。
74、类似的，声明浮点类型一维数组。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理n二维数组可以被看作一维数组的数组，即：二维数组可以被看作一维数组的数组，即：n指针指针 *a 指向指针数组指向指针数组 *a0,*a1,.,*aM-1，其中每一元素，其中每一元素又指向图像的每一行。又指向图像的每一行。
75、 基本数字图像处理包括图像加、减和数乘：基本数字图像处理包括图像加、减和数乘： （1.41） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理n使用计算机进行处理时，上述运算应注意输使用计算机进行处理时，上述运算应注意输出图像的上下溢出问题。如果上溢出发生，出图像的上下溢出问题。如果上溢出发生，对应
76、象素为白背景下的黑色；如果下溢出发对应象素为白背景下的黑色；如果下溢出发生，对应象素为黑背景下的白色。实际应用生，对应象素为黑背景下的白色。实际应用中，上下溢出应避免，这可以通过限幅处理中，上下溢出应避免，这可以通过限幅处理来实现。来实现。n图像的非线性变换用于大量的应用中，图像的非线性变换用于大量的应用中，其用式其用式 (1.42) 表示：表示： （1.42）n使用使用 C 语言进行处理时，常用到的操作是语言进行处理时，常用到的操作是比较与缓冲器（比较与缓冲器（Buffer） 拷贝。拷贝。 Digital Video Image Processing 数字图像基础, Men Aidong,
77、Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.7.3 图像在计算机中的表示及处理图像在计算机中的表示及处理n限幅（限幅（Clipping）：）：n旋转（旋转（Rotation）：）： 其中其中 分别为图像旋转前后的坐标值。分别为图像旋转前后的坐标值。 由式由式 (1.44) 可知，旋转之后的图像可表示为：可知，旋转之后的图像可表示为： 通过缓存器通过缓存器 (Buffer) 映射，即可实现上述变换过程。映射，即可实现上述变换过程。 Digital Vide
78、o Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8 随机过程及其分类随机过程及其分类n1.8.1 一维随机过程一维随机过程n1.8.2 二维随机过程二维随机过程随机场随机场n1.8.3 随机过程的统计特性随机过程的统计特性n1.8.4 用矩阵表示的统计特性：用矩阵表示的统计特性：n1.8.5随机过程的分类随机过程的分类 Digital Video Image Processing
79、数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.1 一维随机过程一维随机过程n大致地说，一个随机过程就是一系列具有概率测度的时间大致地说，一个随机过程就是一系列具有概率测度的时间函数。对于有限结果样本空间，随机过程可以看作是样本函数。对于有限结果样本空间，随机过程可以看作是样本空间到时间波形空间的一个映射，如图空间到时间波形空间的一个映射，如图1.27所示。所示。 Digital Video Image Proce
80、ssing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.1 一维随机过程一维随机过程n一个随机过程也可以被看作是，给定概率为一个随机过程也可以被看作是，给定概率为 的的结果样本结果样本 ，则时间波形，则时间波形 出现，如图出现，如图1.28所示。这所示。这n个时间信号代表时间波形的整体。个时间信号代表时间波形的整体。n如果在如果在 时刻观察这些时间波形，则得到右边第时刻观察这些时间波形，则得到右边第二列值。从上
81、向下，得到从最左端的结果样本到二列值。从上向下，得到从最左端的结果样本到该列对应数值的一个映射，该映射描述了一个特该列对应数值的一个映射，该映射描述了一个特定的随机变量定的随机变量 。同理，从结果样本到最后一。同理，从结果样本到最后一列的映射描述了列的映射描述了 时刻的随机变量时刻的随机变量 。 n值得注意的是，随机过程值得注意的是，随机过程 是具有两个变量是具有两个变量 和和 的函数，其中的函数，其中 是时间变量，是时间变量， 是结果样本是结果样本变量。变量。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Tele
82、communication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.1 一维随机过程一维随机过程n对于于给定定时刻刻 ， 是一个随机是一个随机变量，因量，因为它是它是样本空本空间的函数。若的函数。若给定定结果果样本本 ，则 是一个特是一个特定的定的时间函数，称函数，称为一个一个样本函数，或者称本函数，或者称为随机随机过程的程的一个一个实现。若同。若同时给定定 和和 ，则 对于于实随随机机过程就是一个程就是一个实数，数，对于复随机于复随机过程就是一个复数。程就是一个复数。 Digital Video Im
83、age Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.2 二维随机过程二维随机过程随机场随机场n数字图像的象素点分布在二维平面上，因此我们可以将其数字图像的象素点分布在二维平面上，因此我们可以将其看作是二维的随机过程。下面来看一种最简单的由黑白两看作是二维的随机过程。下面来看一种最简单的由黑白两个亮度电平构成的数字图像：个亮度电平构成的数字图像： 表示位于点表示位于点 上的上的图像象素的亮度
84、。图像象素的亮度。 表示随时间变化表示随时间变化的二维序列，该序列是各种可能的图像集合的二维序列，该序列是各种可能的图像集合 中的中的一个实现。如图一个实现。如图1.29所示。所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.2 二维随机过程二维随机过程随机场随机场n由以上分析可见：对于一维情况，由以上分析可见：对于一维情况， 是一个随是一个随机过
85、程，随机变量机过程，随机变量 是随时间变化的；是随时间变化的；n在二维情况下，在二维情况下， 是一个随机场，随机变是一个随机场，随机变 量量 是在空间两个方向上分布的，是在空间两个方向上分布的，n给定给定 平面上平面上n个点个点 ，有，有n个个随机变量随机变量 ，进一步推广到活动图，进一步推广到活动图像序列的情况，图像单元像序列的情况，图像单元 可看成三维随可看成三维随机序列或随机场机序列或随机场 的一个样值，其中是的一个样值，其中是t时间参量。这是在三个方向上变化的随机变时间参量。这是在三个方向上变化的随机变 量量 的一种表述法。的一种表述法。 Digital Video Image Pro
86、cessing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n对于不能精确表述的信号的波形，采用随机信号表述是一对于不能精确表述的信号的波形，采用随机信号表述是一种基本的方法。种基本的方法。n我们知道，随机变量的常用统计特性包括均值、方差、阶我们知道，随机变量的常用统计特性包括均值、方差、阶矩等。类似地，随机过程的重要统计特性也包括均值、方矩等。类似地，随机过程的重要统计
87、特性也包括均值、方差和阶矩，但通常都是时间的函数。对于随机过程，还必差和阶矩，但通常都是时间的函数。对于随机过程，还必须定义一些新的特性，包括须定义一些新的特性，包括n阶密度、自相关函数和谱密阶密度、自相关函数和谱密度，这些特性对于随机过程的分析很有帮助。度，这些特性对于随机过程的分析很有帮助。n由前面已知，对于每个由前面已知，对于每个 t ， 是一个随机变量。因此，一是一个随机变量。因此，一个随机过程给出了可列无限或无限多个随机变量。如果对个随机过程给出了可列无限或无限多个随机变量。如果对于所有时刻于所有时刻 和所有的和所有的n ，随机变量，随机变量 的联合密度都已知，那么就说这个随机过程被
88、完全地定义，的联合密度都已知，那么就说这个随机过程被完全地定义，或者说被完整地描述。一般而言，完整的统计特性只在极或者说被完整地描述。一般而言，完整的统计特性只在极少数情况下需要，而且这种特性是不可实现的。因此，定少数情况下需要，而且这种特性是不可实现的。因此，定义并使用部分特性是很实用的。义并使用部分特性是很实用的。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱
89、爱东东1.8.3 随机过程的统计特性随机过程的统计特性n对于离散随机过程，给定时刻对于离散随机过程，给定时刻n，则，则 是随机变量。其统是随机变量。其统计特性如下：计特性如下：n概率分布函数概率分布函数： 。其意义是。其意义是,若随机变若随机变量量 是实数，则对于全部实参变量是实数，则对于全部实参变量x，事件，事件 的的概率是确定的。概率是确定的。n概率密度函数概率密度函数(pdf)：是分布函数的导数，即：是分布函数的导数，即 (1.46)n不同时刻的概率密度不一定相同。若该统计特性不同时刻的概率密度不一定相同。若该统计特性与时间无关（即平稳过程），则所有时刻的概率与时间无关（即平稳过程），则
90、所有时刻的概率密度都相同，可省去时间参量密度都相同，可省去时间参量 ，记为，记为 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n均值均值： (1.47) 则对于一切则对于一切n，离散随机过程的均值，离散随机过程的均值 是时间的函数。是时间的函数。当当 的均值与时间无关时，的均值与时间无关时， 是一个常量。是一个
91、常量。n方差方差： (1.48)n自相关函数自相关函数(acf)：给定两个随机变量：给定两个随机变量 和和 ，相，相关性关性 是二者间线性关系的量度。是二者间线性关系的量度。 和和 可以取可以取所有可能的值，这个相关性是所有可能的值，这个相关性是 和和 的函数。因此，实的函数。因此，实随机过程的自相关函数是时间参量随机过程的自相关函数是时间参量 和和 的二维函数，的二维函数，定义为定义为 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学
92、信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n因为因为 ，所以，所以 关于关于 和和 对称，即对称，即 (1.50)n在稍后将要说明的广义平稳的情况下，自相关函在稍后将要说明的广义平稳的情况下，自相关函数只与时间差数只与时间差 有关。在这种情况下，定义有关。在这种情况下，定义一维自相关函数一维自相关函数 为为 (1.51) 因为因为 可以和可以和 交换位置，所以交换位置，所以 是是 的偶函数，可以写作的偶函数，可以写作 = (1.52) Digital Video Image Processing 数字图像基础,
93、Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n自协方差函数自协方差函数： (1.56) 如果把如果把 标准化，得到标准自协方差函数，标准化，得到标准自协方差函数，定义为定义为 (1.57) 复随机过程的自协方差函数复随机过程的自协方差函数 定义为定义为 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Teleco
94、mmunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n把把 标准化得到标准自协方差函数标准化得到标准自协方差函数 (1.59) 有一类十分重要的随机过程是平稳随机过程，它有一类十分重要的随机过程是平稳随机过程，它的统计特性与时间的起点无关，即：的统计特性与时间的起点无关，即： 即所有矩函数都独立于即所有矩函数都独立于 n。同样地，自相关和自协。同样地，自相关和自协方差函数也仅取决于时间差方差函数也仅取决于时间差 ： Digital Video Imag
95、e Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n对于阶平稳过程，当时叫对于阶平稳过程，当时叫广义平稳过程广义平稳过程。而当随。而当随机信号在所有时刻的联合概率密度函数对于所有机信号在所有时刻的联合概率密度函数对于所有移动都保持不变时，称该随机信号为移动都保持不变时，称该随机信号为严格平稳严格平稳。严格平稳的随机过程必然是广义平稳的，但反之严格平稳的
96、随机过程必然是广义平稳的，但反之并不一定成立。只有对于高斯分布的随机过程，并不一定成立。只有对于高斯分布的随机过程，严格平稳与广义平稳是等价的。严格平稳与广义平稳是等价的。n对于平稳随机过程还有一个重要的统计特性：对于平稳随机过程还有一个重要的统计特性：n功率谱密度函数（功率谱密度函数（psdf）： 是自相关函数的傅立叶变换。这个公式大致地描是自相关函数的傅立叶变换。这个公式大致地描述了平稳随机过程的功率在频率域中的分布情况。述了平稳随机过程的功率在频率域中的分布情况。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia
97、Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n对于实平稳随机过程，对于实平稳随机过程， 是实偶函数，所以自相是实偶函数，所以自相关函数可改写为：关函数可改写为： 平均功率平均功率 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体
98、技技术术中中心心门门爱爱东东1.8.3 随机过程的统计特性随机过程的统计特性n下面研究系统对功率谱密度的频率响应。考虑冲下面研究系统对功率谱密度的频率响应。考虑冲击响应为击响应为 、传输函数为、传输函数为 的线性移不变系的线性移不变系统，设系统输入是广义平稳随机过程统，设系统输入是广义平稳随机过程 ,则输出则输出的随机过程的随机过程 有：有： 由于由于 的均值为常数，且其自相关函数只依赖的均值为常数，且其自相关函数只依赖于时移于时移n，所以广义平稳过程，所以广义平稳过程 经过线性移不变经过线性移不变系统后输出系统后输出 也是广义平稳的。也是广义平稳的。 Digital Video Image
99、Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.4 用矩阵表示的统计特性：用矩阵表示的统计特性：n对于由维的随机变量对于由维的随机变量 构成的随机构成的随机矢量，可以定义用矩阵表示的统计特性如下：矢量，可以定义用矩阵表示的统计特性如下： 均值均值 协方差协方差 其中，其中， 分别称为随机变量分别称为随机变量 的均值矢的均值矢量和协方差矩阵。量和协方差矩阵。 Digital Video Imag
100、e Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.8.5 随机过程的分类随机过程的分类 n给定平面上个点给定平面上个点 ，对应地有个随机变量，对应地有个随机变量 这些随机变量的联合概率密度函数为：这些随机变量的联合概率密度函数为： 。对数。对数字图像而言，随机变量数非常大。因此，测量一个实际的联字图像而言，随机变量数非常大。因此，测量一个实际的联合概率密度函数是非常困难的。而对于以下几种特殊的随
101、机合概率密度函数是非常困难的。而对于以下几种特殊的随机过程，情况可以大大简化。过程，情况可以大大简化。 n平稳随机过程平稳随机过程 n高斯随机过程高斯随机过程 n白噪声过程白噪声过程 n周期随机过程周期随机过程 （periodic random processes） nMarkov 过程过程 （相关过程）（相关过程） Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱
102、东东平稳随机过程平稳随机过程 n热噪声就是一种平稳随机过程，它的物理参量不随时间改热噪声就是一种平稳随机过程，它的物理参量不随时间改变，结果样本的概率密度函数也不随时间变化，即对于随变，结果样本的概率密度函数也不随时间变化，即对于随机序列机序列 ，若它的部分序列，若它的部分序列 的联合概率的联合概率密度函数和时移后序列密度函数和时移后序列 相等，则它的均值相等，则它的均值与自相关函数是时不变的确定量。在弱平稳意义下的随机与自相关函数是时不变的确定量。在弱平稳意义下的随机过程又叫作广义平稳。广义平稳的条件是：过程又叫作广义平稳。广义平稳的条件是：即相关性即相关性 ，只与时间差有关。因此平稳过程，
103、只与时间差有关。因此平稳过程的相关函数可用的相关函数可用 表示：表示： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东平稳随机过程平稳随机过程n得到得到 的相关矩阵：的相关矩阵：它是它是Toeplitz矩阵。矩阵。 的协方差为的协方差为即，协方差也只与时间差有关。得到平稳过程的协方差矩即，协方差也只与时间差有关。得到平稳过程的协方差矩阵阵 ：它也是它也是Toe
104、plitz矩阵。实际上，平稳序列协方差矩阵和自相矩阵。实际上，平稳序列协方差矩阵和自相关矩阵都是关矩阵都是Toeplitz矩阵；反之，若序列的协方差矩阵和自矩阵；反之，若序列的协方差矩阵和自相关矩阵是相关矩阵是Toeplitz矩阵，则序列是平稳的。矩阵，则序列是平稳的。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东平稳随机过程平稳随机过程n因为因为当均值为零
105、时，自相关矩阵等于协方差矩阵：当均值为零时，自相关矩阵等于协方差矩阵：其中，其中， ， ， 。具体地。具体地, Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东高斯随机过程高斯随机过程 n若一个随机矢量若一个随机矢量 为有限子序列，且其联合概为有限子序列，且其联合概率密度函数是高斯分布，则称其为高斯随机过程。高斯序率密度函数是高斯分布，则称其为高斯随机过程。高斯
106、序列的联合概率密度函数是：列的联合概率密度函数是：其中其中 是是 的协方差矩阵。高斯随机过程具有一些特的协方差矩阵。高斯随机过程具有一些特殊性质，下面列出其中比较重要的三条：殊性质，下面列出其中比较重要的三条：（1）若高斯过程是广义平稳的，则它必定也是严格平稳的）若高斯过程是广义平稳的，则它必定也是严格平稳的（2）高斯随机过程在任意时间段内的积分也是服从高斯分布的随机）高斯随机过程在任意时间段内的积分也是服从高斯分布的随机变量，对不同时间段积分所得的不同高斯变量之间服从联合高斯分布变量，对不同时间段积分所得的不同高斯变量之间服从联合高斯分布（3）高斯随机过程在（）高斯随机过程在（ ）, 上积分
107、所得的随机过程仍是上积分所得的随机过程仍是高斯过程高斯过程高斯随机过程具有如下统计特性：高斯随机过程具有如下统计特性：均值均值 =常数常数协方差协方差 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东白噪声过程白噪声过程 n为简化分析，定义一种白噪声过程，之所以称其为白噪声为简化分析，定义一种白噪声过程，之所以称其为白噪声过程是因为该过程的谱密度在整个频率范围内
108、都是一个确过程是因为该过程的谱密度在整个频率范围内都是一个确定的常数。由于它在所有瞬时的信号都是独立的，则其中定的常数。由于它在所有瞬时的信号都是独立的，则其中任意瞬时的信号值也是独立的，可知在所有瞬时的概率密任意瞬时的信号值也是独立的，可知在所有瞬时的概率密度函数相等。因此很显然，这种信号是平稳信号。其功率度函数相等。因此很显然，这种信号是平稳信号。其功率谱密度函数和自相关函数分别定义为：谱密度函数和自相关函数分别定义为： Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centr
109、e, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东白噪声过程白噪声过程 n图图1.30示出了白噪声过程的自相关函数和功率谱密度函数示出了白噪声过程的自相关函数和功率谱密度函数若白噪声过程的概率密度为高斯分布，则称为高斯白噪声若白噪声过程的概率密度为高斯分布，则称为高斯白噪声或正态白噪声。或正态白噪声。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工
110、程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东周期随机过程周期随机过程 n广义平稳随机过程，若其自相关函数是周期的，则叫周期广义平稳随机过程，若其自相关函数是周期的，则叫周期随机过程。例如随机正弦过程随机过程。例如随机正弦过程 ，若，若A、 为独立随机变量，有确定概率密度函数，其自相关函数为独立随机变量，有确定概率密度函数，其自相关函数 因其自相关函数是周期的，把它叫做周期因其自相关函数是周期的，把它叫做周期随机过程。随机过程。n同样的形式同样的形式 ，由其付氏级数表示的随机过程，由其付氏级数表示的随机过程 n它有独立的零均值幅度随机变量它有独立的零均值幅度随机变量 和和 。可以证明，它
111、。可以证明，它的自相关函数是周期性，因此它也是周期随机过程。的自相关函数是周期性，因此它也是周期随机过程。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Markov 过程过程 n若一个随机过程的条件概率函数具有下列特性：若一个随机过程的条件概率函数具有下列特性：n则称该随机过程为一阶则称该随机过程为一阶Markov序列。由上式可见，设序列。由上式可见，设 为
112、现在时刻，为现在时刻， 为过去时刻，在给定所有过去随为过去时刻，在给定所有过去随机变量的条件下，机变量的条件下， 的条件概率取决于给定条件下的条件概率取决于给定条件下 的条件概率。高斯过程也是的条件概率。高斯过程也是Markov过程。过程。n例例7：一阶平稳：一阶平稳Markov序列的协方差函数为：序列的协方差函数为：n它常用做黑白图像扫描行的协方差模型。对于它常用做黑白图像扫描行的协方差模型。对于 矢量矢量 ，它的协方差矩阵是：，它的协方差矩阵是：n该矩阵为该矩阵为Toeplitz矩阵。矩阵。 Digital Video Image Processing 数字图像基础, Men Aidong
113、, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.9 随机场的相关模型随机场的相关模型n用随机模型表示图像，有两种方法：协方差模型和线性系用随机模型表示图像，有两种方法：协方差模型和线性系统模型。本节讲述协方差模型。该模型常用在图像编码和统模型。本节讲述协方差模型。该模型常用在图像编码和图像恢复问题中。线性模型留在下一节讨论。图像恢复问题中。线性模型留在下一节讨论。n平稳随机场中各点的均值与空间坐标无关，即平稳随机场中各点的均值与空间坐标无关，即设设 ，自
114、协方差平移不变，它可写成一个依赖两个变量，自协方差平移不变，它可写成一个依赖两个变量的函数：的函数： （1.98）n其中，下角标其中，下角标 代表水平方向，代表水平方向， 代表垂直方向。满足上代表垂直方向。满足上述条件的平稳随机场的相关模型有两种：可分离模型和不述条件的平稳随机场的相关模型有两种：可分离模型和不可分离模型。可分离模型。n对于平稳图像场，均值为常数，协方差函数可以采用可分对于平稳图像场，均值为常数，协方差函数可以采用可分或不可分的指数模型。可分模型在图像处理中易于进行分或不可分的指数模型。可分模型在图像处理中易于进行分析；不可分模型的协方差模型更好，但不易分析。析；不可分模型的协
115、方差模型更好，但不易分析。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东可分离模型可分离模型 n对于一阶平稳对于一阶平稳Markov模型：模型： ，其中其中 是图像水平与垂直方向上的空间位移，是图像水平与垂直方向上的空间位移， 为相为相关量。关量。n令令 ，代入式（，代入式（1.98）得，）得， 。若若 ，则上式为：，则上式为： ，归一化相关系数得，归一化相
116、关系数得到对角线相关系数到对角线相关系数 相邻小象素之间的相关系数相邻小象素之间的相关系数 。如图。如图1.31所示。所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东各向同性模型各向同性模型 n ，它有旋转对称特性，称为各向，它有旋转对称特性，称为各向同性特性，它不可分离。用水平和垂直间隔的空间坐标同性特性，它不可分离。用水平和垂直间隔的空间坐标 表示。
117、令表示。令 ，则：，则： 。归一化。归一化的相邻象素间的相关系数为的相邻象素间的相关系数为 其对角相邻象素间的相关系数为其对角相邻象素间的相关系数为 。具体。具体实验表明，大多数图像的实验表明，大多数图像的 和和 接近接近 0.95。 对于一幅象对于一幅象素的黑白图像，实验结果如图素的黑白图像，实验结果如图1.32所示。所示。 由上图可见，水平与垂直方向上，自相关函数都以相似速由上图可见，水平与垂直方向上，自相关函数都以相似速率随率随 增加而衰减，但给定增加而衰减，但给定 ，细节少图像与细节多，细节少图像与细节多图像的自相关函数有显著差异。图像的自相关函数有显著差异。 Digital Vide
118、o Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.10 随机场的线性系统模型随机场的线性系统模型n随机过程除前面讲的协方差模型外，还可由一阶因果模型随机过程除前面讲的协方差模型外，还可由一阶因果模型表示，如图表示，如图1.33所示。类型包括：所示。类型包括：AR 过程过程自回归过程，用自回归过程，用IIR滤波器实现；滤波器实现；MA 过程过程滑动平均过程，用滑动平均过程，用FIR滤波
119、器实现；滤波器实现；ARMA 过程过程自回归滑动平均过程。自回归滑动平均过程。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.10 随机场的线性系统模型随机场的线性系统模型 n给定频谱密度给定频谱密度 ,利用谱分解技术以得到因果的最小时延利用谱分解技术以得到因果的最小时延传输函数传输函数 。具体地，输入是零均值单位方差、具有高。具体地，输入是零均值单位方差
120、、具有高斯分布的随机变量斯分布的随机变量 ，通过滤波器，通过滤波器 ，产生输出序列，产生输出序列要求的的谱密度要求的的谱密度 。系统传输函数为。系统传输函数为令令 ，输出随机过程具有如下的递归形式：，输出随机过程具有如下的递归形式：n其中，第一部分和式是其中，第一部分和式是AR模型，第二部分和式是模型，第二部分和式是MA模型模型 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中
121、心心门门爱爱东东线性均方估值的正交原理线性均方估值的正交原理 n设设 为随机变量，均值为零。线性预测估值是用过为随机变量，均值为零。线性预测估值是用过去的值预测现在的值，即去的值预测现在的值，即n其中，其中， 是线性预测系数。预测误差表示为：是线性预测系数。预测误差表示为：n定义均方误差为定义均方误差为 ，我们要研究的问题是如何求，我们要研究的问题是如何求 使使 最小？最小？n根据拉格朗日极值定理，将根据拉格朗日极值定理，将 对对 求偏导，并令其等求偏导，并令其等于于0，则得到：，则得到：n即即 与所有随机变量与所有随机变量 统计上正交。或者记为：统计上正交。或者记为： Digital Vid
122、eo Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（模型（Auto Regressive） n简单表征图像是把它考虑为光栅扫描器输出的一维信号，简单表征图像是把它考虑为光栅扫描器输出的一维信号，是行或列的序列信号。若行间是行或列的序列信号。若行间(或列间或列间)互不相关，则可用互不相关，则可用一维线性系统来模拟这样的信号。令一维线性系统来模拟这样的信号。令 是实的平
123、稳随机序是实的平稳随机序列，其均值为零，协方差为列，其均值为零，协方差为 ，它是线性移不变系统的，它是线性移不变系统的输出，其输入为平稳零均值白噪声序列输出，其输入为平稳零均值白噪声序列 ，于是它的谱，于是它的谱密度函数密度函数SDF为：为：n其中其中 是是 的的SDF。对其进行解析开拓：。对其进行解析开拓： 和和 有有一个根（极点）在单位圆内，必有一个根在单位圆外。线一个根（极点）在单位圆内，必有一个根在单位圆外。线性移不变系统性移不变系统 ，极点在单位圆内，满足因果稳定条，极点在单位圆内，满足因果稳定条件，则：用件，则：用IIR滤波的实现有：滤波的实现有： ，一切极点均在单位圆内，一切极点
124、均在单位圆内 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（二）模型（二）n当系统输出零均值的随机序列当系统输出零均值的随机序列 时，叫做时，叫做 阶阶AR（自（自回归）过程。如图回归）过程。如图1.34所示，其数学描述如下：所示，其数学描述如下：n其中其中 是平稳零均值序列，它与过去的输出无关。上式是平稳零均值序列，它与过去的输出无关。
125、上式的意义为：通过最近的意义为：通过最近 个输出和现在的输入递归产生下一个输出和现在的输入递归产生下一个输出。个输出。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（三）模型（三）nAR模型具有如下特性：模型具有如下特性：（1）最佳线性均方预测器的值）最佳线性均方预测器的值它是基于所有它是基于所有 个过去个过去 样值的结果。对于高斯白噪样
126、值的结果。对于高斯白噪声序列，它意味着声序列，它意味着 阶阶AR序列是序列是Markov-p过程，则：过程，则：时刻时刻 的样值是的样值是“最小方差因果预测估值最小方差因果预测估值 + 预测误差预测误差 ”，因此，因此AR模型也被叫做因果最小方差表示。模型也被叫做因果最小方差表示。（2）因果滤波器）因果滤波器被叫做预测误差滤波，如图被叫做预测误差滤波，如图1.35所示。所示。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与
127、通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（四）模型（四）n此滤波器由序列此滤波器由序列 产生预测误差序列产生预测误差序列 ，预测误差序，预测误差序列是白的：列是白的：因此，因此， 又叫做又叫做 的白滤波。除去在的白滤波。除去在 处可能取零，处可能取零，AR过程的传输函数过程的传输函数 和谱密度函数是全极点模型。和谱密度函数是全极点模型。n（3）观察系统的传输函数有）观察系统的传输函数有则则AR模型的模型的SDF为：为：(4) 对对 于均值为于均值为 的序列的序列 ，如图，如图1.36所示，所示，AR模型可作如下修正模型可作如下修正 Digital V
128、ideo Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（五）模型（五）n令令又又替换得到：替换得到：修正后的模型的统计特性为：修正后的模型的统计特性为：n下面的问题是如何确定下面的问题是如何确定AR模型的线性预测系数模型的线性预测系数 及及 。其中，其中， 。方程中。方程中 及及 是未知量，而随机过是未知量，而随机过程的协方差函数程的协方差函数 已知或可通过测量得到
129、。已知或可通过测量得到。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（六）模型（六）n对上式对上式 和和 两种情况展开，得到下列矩阵方程：两种情况展开，得到下列矩阵方程：其中其中 是是Toeplitz矩阵，矩阵，若若 是正定矩阵，则是正定矩阵，则AR模型保证稳定。模型保证稳定。 Digital Video Image Processin
130、g 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归自回归AR模型（七）模型（七）n例例8: 图像扫描行光栅的协方差可由任一行两象素间的协方图像扫描行光栅的协方差可由任一行两象素间的协方差决定。差决定。 将二维可分将二维可分(或不可分或不可分)自相关模型简化为一维模自相关模型简化为一维模型有型有: 。为满足。为满足2阶阶AR模型模型,求解下求解下式式: n上式共包括三个方程三个未知数，求解得上式共包括三个方程三个未知
131、数，求解得:nAR模型：模型：n对于像素均值为对于像素均值为 的图像扫描行的图像扫描行,相应的表示是一阶相应的表示是一阶AR模模型型,设设 为为0均值均值n 有有 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东AR模型的应用模型的应用 n（1）预测编码）预测编码AR模型的预测特性可用于图像编码。假定模型的预测特性可用于图像编码。假定AR序列序列 的每个象素用的
132、每个象素用Bbit表示，其差值序列表示，其差值序列 ， 是是 的预测值。由于的预测值。由于 解除了相关性，熵值比解除了相关性，熵值比 要小，要小，因此可用比特要求更小。由此实现了图像的压缩编码。因此可用比特要求更小。由此实现了图像的压缩编码。n（2）图像的半递归表示）图像的半递归表示变换图像的每一行，用独立的变换图像的每一行，用独立的AR模型表示：模型表示： ，其中，其中 最佳的情况为最佳的情况为 K-L变换，但是从运算量的角度出发，常变换，但是从运算量的角度出发，常用的是用的是DCT变换（有快速算法）。变换（有快速算法）。 不相关，不相关，p = 1 或或 2。 Digital Video
133、Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东滑动平均滑动平均MA模型模型 (Moving Average) n随机序列随机序列 被表示为不相关随机变量加权平均和（白噪被表示为不相关随机变量加权平均和（白噪声加权和），叫做声加权和），叫做 q 阶滑动平均过程，如图阶滑动平均过程，如图1.37所示。输所示。输出随机序列为出随机序列为n其中其中n输入和输出的谱密度函数分别为输入和输出的谱密度
134、函数分别为:n传输函数为：传输函数为：n它具有最小相位解，零点在单位圆内。它具有最小相位解，零点在单位圆内。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东滑动平均滑动平均MA模型（二）模型（二）nMA模型的自相关函数和谱密度的关系为模型的自相关函数和谱密度的关系为n其中其中n自相关在自相关在 外为外为0，可由，可由 阶阶MA滤波器滤波器 来产生，此来产生，此
135、时时 是是FIR滤波器，是全零点模型。滤波器，是全零点模型。nMA过程是广义平稳的，其均值为零，自相关仅与时间差过程是广义平稳的，其均值为零，自相关仅与时间差有关。有关。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东滑动平均滑动平均MA模型（三）模型（三）n例例9: 1阶阶MA过程过程n则则: n得到得到 的协方差序列为的协方差序列为:n对于对于MA(2)
136、过程，可得过程，可得n由以上式子可以求解由以上式子可以求解 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东自回归滑动平均过程（自回归滑动平均过程（ARMA） n当当AR模型的输入是模型的输入是MA序列时：序列时：n其中其中 是零均值方差为是零均值方差为 的白序列，的白序列，ARMA模型的传输模型的传输函数和谱密度函数函数和谱密度函数 (SDF) 分别为：分别为
137、：n当当 q=0 时为时为p阶阶AR模型，模型，p=0 时它是时它是q阶阶MA模型。模型。 Digital Video Image Processing 数字图像基础, Men Aidong, Multimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东1.11 图像的逼真度（一）图像的逼真度（一）n虽然图像处理的质量最终应由人进行主观评价，但是在实虽然图像处理的质量最终应由人进行主观评价，但是在实际工作中，还是有必要定义能反映处理后图像与原始图像际工作中，还是有必要定义能
138、反映处理后图像与原始图像之间相近程度的客观测量准则。之间相近程度的客观测量准则。n在图在图1.39所示的图像处理系统中，目前常用的测度方法是所示的图像处理系统中，目前常用的测度方法是计算处理前后图像之间的均方误差，其值越小说明失真程计算处理前后图像之间的均方误差，其值越小说明失真程度越小。对于行列数为度越小。对于行列数为 的数字图像的数字图像 ，差值图像，差值图像方差为：方差为：n 或或n其中，其中， 为原始图像方差。易知，为原始图像方差。易知， 值越大失真程度越小。值越大失真程度越小。 Digital Video Image Processing 数字图像基础, Men Aidong, Mu
139、ltimedia Telecommunication Centre, BUPT北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东图像的逼真度（二）图像的逼真度（二）n在实际应用中，我们常常用原图像最大强度值（峰值）的在实际应用中，我们常常用原图像最大强度值（峰值）的平方来代替原始图像方差，得到：平方来代替原始图像方差，得到： n通常通常 比比 大大1215dB。n但是这种客观评价方法有其局限性：由于误差但是这种客观评价方法有其局限性：由于误差 是功率的是功率的平均，因此它不能完全地反映主观感觉。例如，在图像出平均，因此它不能完全地反映主观感觉。
140、例如，在图像出现窄的水平亮条干扰时，虽然图像的现窄的水平亮条干扰时，虽然图像的 高，但主观感觉高，但主观感觉差；又如，在图像传输处理过程中出现的小错误，虽然它差；又如，在图像传输处理过程中出现的小错误，虽然它不会对不会对 值产生大的影响，但如果其位置恰好处在图像值产生大的影响，但如果其位置恰好处在图像理解的关键位置，由于人类视觉系统对关键信息的改变非理解的关键位置，由于人类视觉系统对关键信息的改变非常敏感，因此会大大影像主观质量的评价。常敏感，因此会大大影像主观质量的评价。n尽管有以上缺点，但由于均方误差和信噪比在数学上容易尽管有以上缺点，但由于均方误差和信噪比在数学上容易处理，另外也缺少性价比更好的替代方法，因此上述方法处理，另外也缺少性价比更好的替代方法，因此上述方法在图像处理的客观失真测量方面仍得到了大量的应用。在图像处理的客观失真测量方面仍得到了大量的应用。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心谢谢！谢谢！
