信息论与编码原理信息率失真函数课件

《信息论与编码原理信息率失真函数课件》由会员分享，可在线阅读，更多相关《信息论与编码原理信息率失真函数课件（112页珍藏版）》请在金锄头文库上搜索。

1、信息论与编码原理（第四章）（第四章）信息率失真函数信息率失真函数7/20/20241信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数第四章第四章 信息率失真函数信息率失真函数4.1 基本概念基本概念4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数 4.4 信息率失真函数与信息价值信息率失真函数与信息价值4.5 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较4.6 保真度准则下的信源编码定理保真度准则下的信源编码定理 4.7 信息论信息论“三大定理三大定理”总结总结7/20/20242信息论与编码原理信息

2、论与编码原理_信息率失真函数信息率失真函数4.1 基本概念基本概念4.1.1 引言引言4.1.2 失真度与平均失真度失真度与平均失真度4.1.3 信息率失真函数的定义信息率失真函数的定义4.1.4 信息率失真函数的性质信息率失真函数的性质7/20/20243信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(1) “消息完全无失真传送消息完全无失真传送”的可实现性的可实现性(2) 实际中允许一定程度的失真实际中允许一定程度的失真(3) 信息率失真理论信息率失真理论4.1基本概念7/20/20244信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4

3、.1.1 引引 言言(1) “消息完全无失真传送消息完全无失真传送”的可实现性的可实现性 信道编码定理：信道编码定理：无论何种信道，只要信息率无论何种信道，只要信息率 R 小于信道容量小于信道容量 C，总能找到一种编码，使在信道上能以任意小的错误概率和任意，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于接近于 C 的传输率来传送信息。反之，若的传输率来传送信息。反之，若 R C，则传输总要失真。，则传输总要失真。 完全无失真传送不可实现完全无失真传送不可实现q 实际的信源常常是连续的，信息率无限大，要无失真传送要实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率求信息率

4、 R 为无穷大；为无穷大；q 实际信道带宽是有限的，所以信道容量受限制。要想无失真实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量传输，所需的信息率大大超过信道容量 RC。返回目录4.1基本概念7/20/20245信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(2) 实际中允许一定程度的失真实际中允许一定程度的失真 技术发展的需要技术发展的需要q 随着科技的发展，数字系统应用得越来越广泛，需要传送、存储随着科技的发展，数字系统应用得越来越广泛，需要传送、存储和处理大量的数据。为了提高传输和处理效率，需要对数据压缩，和处

5、理大量的数据。为了提高传输和处理效率，需要对数据压缩，这样会带来一定的信息损失。这样会带来一定的信息损失。q 信息时代，信息爆信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数炸，要求解决对海量数据有效的压缩，减少数据的据的存储容量存储容量(如各种数据库、电子出版物、多媒体娱乐如各种数据库、电子出版物、多媒体娱乐)、传输时传输时间间(如数据通信和遥测如数据通信和遥测)、或、或占有带宽占有带宽(如多媒体通信、数字音频广播、如多媒体通信、数字音频广播、高清晰度电视高清晰度电视)，想方设法压缩给定消息，想方设法压缩给定消息 集合占用的集合占用的空间域空间域、时间时间域域和和频率域频率域资源资源

6、.q 如海洋地球物理勘探遥测数据，用如海洋地球物理勘探遥测数据，用 60 路传感器，每路信号路传感器，每路信号 1kHz，16 位位 A/D 量化，每航测量化，每航测 1km 就需记录就需记录 1 盘盘 0.5 英寸的磁带，一条英寸的磁带，一条测量船每年就可勘测测量船每年就可勘测 15000km。4.1基本概念7/20/20246信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(2) 实际中允许一定程度的失真实际中允许一定程度的失真 实际生活中的需要实际生活中的需要q 实际生活中，人们一般并不要求获得完全无失真的消息，通常只实际生活中，人们一般并不要求获得完

7、全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。要求近似地再现原始消息，即允许一定的失真存在。q 打电话：打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。收信号的带宽和分辨率是有限的。q 放电影：放电影：理论上需要无穷多幅静态画面，由于人眼的理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性视觉暂留性”，实际上只要每秒放映，实际上只要每秒放映 24 幅静态画面。幅静态画面。q 有些失真没有必要完全消除。有些失真没有必要完全消除。q 既然允许一定的失真存在，对信息率的要求便可降低。既然允

8、许一定的失真存在，对信息率的要求便可降低。返回目录4.1基本概念7/20/20247信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论 信息率失真理论研究的内容信息率失真理论研究的内容: 信息率信息率信息率信息率与与允许失真允许失真允许失真允许失真之间的关之间的关系系. 信息率失真函数信息率失真函数q 香农定义了信息率失真函数香农定义了信息率失真函数 R(D)。q “保真度准则下的信源编码定理保真度准则下的信源编码定理”指出：指出：在允许一定失在允许一定失真度真度 D 的情况下，信源输出的信息率可压缩到的情况下，信源输出的信

9、息率可压缩到 R(D)。q 信息率失真理论是信息率失真理论是量化量化（模数转换）、（模数转换）、数模转换数模转换、频带频带压缩压缩和和数据压缩数据压缩的理论基础。的理论基础。4.1基本概念7/20/20248信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论 信息率失真函数信息率失真函数极小值极小值问题问题q I(X;Y) 是是 P(X) 和和 P(Y/X) 的二元函数；的二元函数；q 在讨论信道容量时在讨论信道容量时：规定了规定了P(Y/X) ， I(X;Y) 变成了变成了P(X) 的函数。在离散情况下，因为的函数。在离散

10、情况下，因为 I(X;Y) 对对 p(xi) 是上凸是上凸函数，所以变更函数，所以变更 p(xi) 所求极值一定是所求极值一定是 I(X;Y)的极大值；的极大值；在连续情况下，变更信源在连续情况下，变更信源 P(X) 求出的也是极大值，但求求出的也是极大值，但求极值时还要一些其它的限制条件。极值时还要一些其它的限制条件。4.1基本概念7/20/20249信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.1 引引 言言(3) 信息率失真理论信息率失真理论 信息率失真函数信息率失真函数极小值极小值问题问题q 在讨论信息率时在讨论信息率时：可规定可规定 p(xi)，变更，变更 p

11、(yj /xi) 来求平均互信来求平均互信息的极值，称为息的极值，称为信道容量对偶问题信道容量对偶问题。由于由于I(X;Y) 是是 p(yj /xi) 的的下凸函数，所求的极值一定是极小值下凸函数，所求的极值一定是极小值。但若。但若 X 和和 Y 相互统计独相互统计独立（立（p(yj /xi)= p(yj )），这个极小值就是），这个极小值就是 0，因为，因为 I(X;Y) 是非负是非负的，的，0 必为极小值，这样求极小值就没意义了。必为极小值，这样求极小值就没意义了。q 引入一个失真函数，计算在失真度一定的情况下信息率的极引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变的有意义了

12、。小值就变的有意义了。返回目录4.1基本概念7/20/202410信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(1) 信息率与失真的关系信息率与失真的关系(2) 失真度失真度(3) 常用的失真函数常用的失真函数(4) 平均失真度平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度4.1基本概念7/20/202411信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(1) 信息率与失真的关系信息率与失真的关系信道中固有的信道中固有的噪声噪声和不可避免的和不可

13、避免的干扰干扰，使信源的消息通过，使信源的消息通过信道传输后造成误差和失真。信道传输后造成误差和失真。误差或误差或失真失真失真失真越大，接收者收到消息后对信源存在的不确定越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息的性就越大，获得的信息量就越小，信道传输消息的信息率信息率信息率信息率也越小。也越小。返回目录4.1基本概念7/20/202412信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度 失真度失真度q 设离散无记忆信源为：设离散无记忆信源为：4.1基本概念7/20/202

14、413信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度 失真度失真度q 对每一对对每一对 (xi,yj)，指定一个非负函数，指定一个非负函数d(xi,yj)0 i=1,2,n j=1,2,m称称 d(xi,yj) 为为单个符号的单个符号的失真度失真度失真度失真度（失真函数）。表示信源（失真函数）。表示信源发出一个符号发出一个符号 xi，在接收端再现，在接收端再现 yj 所引起的误差或失真。所引起的误差或失真。4.1基本概念7/20/202414信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.

15、2 失真度与平均失真度失真度与平均失真度(2) 失真度失真度 失真矩阵失真矩阵q 失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式q 称称 D 为失真矩阵。它是为失真矩阵。它是 nm 阶矩阵。阶矩阵。 连续信源和连续信道的失真函数连续信源和连续信道的失真函数 在连续信源和连续信道情况下，失真度定义为：在连续信源和连续信道情况下，失真度定义为：d(x,y)0返回目录4.1基本概念7/20/202415信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数 第一种：第一种：q 当当 i=j 时，时，X

16、与与 Y 的取值一样，用的取值一样，用 Y 来代表来代表 X 就没有误差，所就没有误差，所以定义失真度为以定义失真度为 0；q 当当 ij 时，用时，用 Y 代表代表 X 就有误差。就有误差。q 这种定义认为对所有不同的这种定义认为对所有不同的 i 和和 j 引起的误差都一样，所以定义引起的误差都一样，所以定义失真度常数失真度常数失真度常数失真度常数 a a。4.1基本概念7/20/202416信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数 第一种：第一种：q 特点：特点：对角线上的元素均为对角

17、线上的元素均为 0，对角线以外的其它元素都为常数，对角线以外的其它元素都为常数 a。q 汉明失真函数汉明失真函数： a=1 。4.1基本概念7/20/202417信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(3) 常用的失真函数常用的失真函数 第二种（平方误差失真函数）：第二种（平方误差失真函数）：d(xi,yj)=(yjxi)2q 失真矩阵：失真矩阵：平方误差失真矩阵平方误差失真矩阵。q 若信源符号代表输出信号的幅度值，则较大的幅度失真若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重比较小的幅

18、度失真引起的错误更为严重, 严重程度用平方严重程度用平方表示表示.q 失真函数是根据人们的失真函数是根据人们的实际需要实际需要实际需要实际需要和和失真引起的损失失真引起的损失失真引起的损失失真引起的损失、风风风风险险险险、主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小主观感觉上的差别大小等因素等因素人为规定的人为规定的人为规定的人为规定的。返回目录4.1基本概念7/20/202418信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度 平均失真度平均失真度q d(xi,yj) 只能表示两个特定的

19、具体符号只能表示两个特定的具体符号 xi 和和 yj 之间的失真。之间的失真。q 平均失真度平均失真度平均失真度平均失真度：失真度的数学期望，即：失真度的数学期望，即：4.1基本概念7/20/202419信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度平均失真度的意义平均失真度的意义q 是在平均意义上，从总体上对整个系统失真情况的是在平均意义上，从总体上对整个系统失真情况的描述。它是描述。它是信源统计特性信源统计特性信源统计特性信源统计特性 p p( (x xi i) ) 、信道统计特性信道统计特性信道统

20、计特性信道统计特性 p p( (y yj j/ /x xi i ) ) 和和失真度失真度失真度失真度 d d( (x xi i, ,y yj j) ) 的函数的函数 。q 当当 p(xi)，p(yj/xi ) 和和 d(xi,yj) 给定后，平均失真度就不给定后，平均失真度就不是一个随机变量了，而是一个确定的量。是一个随机变量了，而是一个确定的量。q 如果如果信源信源和和失真度失真度一定，一定， 就只是就只是信道统计特性信道统计特性的函的函数。信道传递概率不同，平均失真度随之改变。数。信道传递概率不同，平均失真度随之改变。4.1基本概念7/20/202420信息论与编码原理信息论与编码原理_信

21、息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(4) 平均失真度平均失真度 保真度准则保真度准则q 人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。q 保真度准则保真度准则：规定平均失真度规定平均失真度 不能超过某一限定不能超过某一限定的值的值 D，即，即 ，则，则 D D 就是允许失真的上界就是允许失真的上界就是允许失真的上界就是允许失真的上界。该式称。该式称为保真度准则。为保真度准则。返回目录4.1基本概念7/20/202421信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与

22、平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 N 次扩展次扩展q 单符号离散无记忆信源单符号离散无记忆信源 X x1,x2,xn 的的 N 次扩展信次扩展信源源 XN =X1X2XN ，在信道中的传递作用相当于单符号离，在信道中的传递作用相当于单符号离散无记忆信道的散无记忆信道的 N 次扩展信道，输出也是一个随机变量次扩展信道，输出也是一个随机变量序列序列 YN =Y1Y2YN 。q 此时输入共有此时输入共有 nN 个不同的符号：个不同的符号：4.1基本概念7/20/202422信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失

23、真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 N 次扩展次扩展q 信道的输出共有信道的输出共有 mN 个不同的符号：个不同的符号：4.1基本概念7/20/202423信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 N 次扩展次扩展q 定义定义定义定义离散无记忆信道离散无记忆信道 X P(Y/X) Y 的的 N 次扩展信道的次扩展信道的输入序列输入序列 ai 和输出序列和输出序列 bj 之间的失真函数：之间的失真函数：4.1基本概念7/20/2024

24、24信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 N 次扩展次扩展q 定义的说明：定义的说明：离散无记忆信道的离散无记忆信道的 N 次扩展信道输入输出之间的失次扩展信道输入输出之间的失真，等于输入序列真，等于输入序列 ai 中中 N 个信源符号个信源符号 xi1,xi2,xiN 各自通过信道各自通过信道 X P(Y/X) Y ，分别输出对应的，分别输出对应的 N 个信宿符号个信宿符号 yj1,yj2,yjN 后所引起的后所引起的 N 个单符号失真个单符号失真 d(xik ,

25、yjk)(k=1,2, ,N) 之和。之和。q N 次离散无记忆扩展信源和信道的平均失真度为次离散无记忆扩展信源和信道的平均失真度为 ，则：，则：4.1基本概念7/20/202425信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 “N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q 由扩展信源和扩展信道的无记忆性有：由扩展信源和扩展信道的无记忆性有：4.1基本概念7/20/202426信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.

26、2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 “N 次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系q （k=1,2, ,N）是同一信源）是同一信源 X 在在 N 个不同时刻通过同一信道个不同时刻通过同一信道 X P(Y/X) Y 所造成的平均失真度，因此都等于单符号信源所造成的平均失真度，因此都等于单符号信源 X 通过信道通过信道 X P(Y/X) Y 所造成的平均失真度，即：所造成的平均失真度，即：q 结论说明结论说明：离散无记忆离散无记忆 N 次扩展信源通过离散无记忆次扩展信源通过离散无记忆 N 次扩展信道次扩展信道的

27、平均失真度是单符号信源通过单符号信道的平均失真度的的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。倍。4.1基本概念7/20/202427信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.2 失真度与平均失真度失真度与平均失真度(5) N 次扩展信道的平均失真度次扩展信道的平均失真度 N 次扩展的保真度准则次扩展的保真度准则：离散无记忆离散无记忆 N 次扩展信源通过次扩展信源通过离散无记忆离散无记忆 N 次扩展信道的保真度准则为：次扩展信道的保真度准则为：返回目录4.1基本概念7/20/202428信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数

28、4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道(2) 信息率失真函数信息率失真函数(3) 求信息率失真函数的方法求信息率失真函数的方法(4) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义4.1基本概念7/20/202429信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道 单符号信源和单符号信道的试验信道单符号信源和单符号信道的试验信道q 当固定信源（当固定信源（ P(X)已知），单个符号失真度也给定时，已知），单个符号失真度也给定时，选择信道使选择信道使 。凡

29、满足要求的信道称为。凡满足要求的信道称为 D 失真许可失真许可的试验信道的试验信道，简称试验信道。，简称试验信道。q 所有试验信道构成的集合用所有试验信道构成的集合用 PD 来表示，即：来表示，即：4.1基本概念7/20/202430信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(1) 试验信道试验信道 N 次扩展的试验信道次扩展的试验信道：对于离散无记忆信源的对于离散无记忆信源的 N 次扩展次扩展信源信源和离散无记忆信道的和离散无记忆信道的 N 次扩展信道次扩展信道，其试验信道集合，其试验信道集合 PD(N) 为：为：返回目

30、录4.1基本概念7/20/202431信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(2) 信息率失真函数信息率失真函数 单符号信源和单符号信道的信息率失真函数单符号信源和单符号信道的信息率失真函数q 信息率失真函数（率失真函数）信息率失真函数（率失真函数） R(D) ：在信源和失真度给定以后，在信源和失真度给定以后，PD 是满足保真度准则是满足保真度准则 的试验信道集合，平均互信息的试验信道集合，平均互信息 I(X;Y) 是是信道传递概率信道传递概率 p(yj /xi) 的下凸函数，所以在的下凸函数，所以在 PD 中一定可以

31、找到某个中一定可以找到某个试验信道，使试验信道，使 I(X;Y) 达到最小，即：达到最小，即：q 在信源给定以后，总希望在允许一定失真的情况下，传送信源所必在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。须的信息率越小越好。从接收端来看，就是在满足保真度准则从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。的最小值。4.1基本概念7/20/202432信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率

32、失真函数的定义(2) 信息率失真函数信息率失真函数 “N 次扩展次扩展”的信息率失真函数的信息率失真函数q “N 次扩展次扩展”的信息率失真函数的信息率失真函数RN(D) ：对于离散无记忆信源的对于离散无记忆信源的 N 次扩展信源和离散无记忆信道的次扩展信源和离散无记忆信道的 N 次扩展信道，在所有满足保真度准次扩展信道，在所有满足保真度准则则 的的 N 维试验信道集合中，一定可以寻找到某个信道使维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值：平均互信息取最小值：q 由信源和信道的无记忆性，可以证明：由信源和信道的无记忆性，可以证明：RN(D)=NR(D)返回目录4.1基本概念7

33、/20/202433信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法 对偶问题：对偶问题：q 平均互信息平均互信息 I(X;Y) 既是信源概率分布既是信源概率分布 p(xi) 的上凸函数，又是信道的上凸函数，又是信道传递概率传递概率 p(yj /xi) 的下凸函数。的下凸函数。q 率失真函数率失真函数 R(D) 是在是在允许平均失真度允许平均失真度允许平均失真度允许平均失真度 D D 和信源概率分布和信源概率分布 p(xi) 已已给的条件下，求平均互信息的极小值（最小）问题。给

34、的条件下，求平均互信息的极小值（最小）问题。q 而而信道容量信道容量信道容量信道容量 C C 是在信道特性是在信道特性 p(yj /xi) 已知的条件下求平均互信息的已知的条件下求平均互信息的极大值（最大）问题。这两个问题是极大值（最大）问题。这两个问题是对偶问题对偶问题。4.1基本概念7/20/202434信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法求信道容量的方法求信道容量的方法：信道容量是假定信道固定的前提下，信道容量是假定信道固定的前提下，选择一种选择一种试验信源试

35、验信源试验信源试验信源，使信息率最大。一旦找到了这个信道，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。道特性的变化而变化。4.1基本概念7/20/202435信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(3) 求信息率失真函数的方法求信息率失真函数的方法求信息率失真函数的方法求信息率失真函数的方法：信息率失真函数信息率失真函数 R(D) 是假定是假定信源给定的情况下，在信源给定的情况下，在用户可以容忍的失真度用户可以容

36、忍的失真度用户可以容忍的失真度用户可以容忍的失真度内再现信源内再现信源消息所必须获得的消息所必须获得的最小平均信息量最小平均信息量最小平均信息量最小平均信息量。它反映的是信源可压。它反映的是信源可压缩程度。缩程度。率失真函数一旦找到，就与求极值过程中选择的率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，试验信道不再有关，而只是信源特性的参量。不同的信源，其其 R(D) 是不同的。是不同的。返回目录4.1基本概念7/20/202436信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义(4

37、) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义研究信道容量的意义研究信道容量的意义：在实际应用中，研究信道容量是为在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意用已给信道，使传输的信息量最大而发生错误的概率任意小，以小，以提高通信的可靠性提高通信的可靠性。这就是。这就是信道编码信道编码问题。问题。4.1基本概念7/20/202437信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.3 信息率失真函数的定义信息率失真函数的定义

38、(4) 研究信道编码和率失真函数的意义研究信道编码和率失真函数的意义 研究信息率失真函数的意义研究信息率失真函数的意义：研究信息率失真函数是为了研究信息率失真函数是为了解决在已知信源和允许失真度解决在已知信源和允许失真度 D 的条件下，使信源必须传的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以送尽可能多的信源消息，以提高通信的有效性提高通信的有效性。这是。这是信源信源编码编码问题。问题。返回目录4.1基本概念7/20/202438信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.

39、1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域(2) 率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性(3) 率失真函数的单调递减和连续率失真函数的单调递减和连续性性4.1基本概念7/20/202439信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 什么是率失真函数的定义域什么是率失真函数的定义域q 允许平均失真度允许平均失真度：率失真函数中的自变量率失真函数中的自变量 D，也就是人，也就是人们规定的平均失真度们规定的

40、平均失真度 的上限值。的上限值。q 率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已知的问题就是在信源和失真函数已知的情况下，讨论情况下，讨论允许平均失真度允许平均失真度 D 的最小和最大值问题的最小和最大值问题。q D 的选取必须根据固定信源的选取必须根据固定信源 X 的统计特性的统计特性 P(X) 和选定和选定的失真函数的失真函数 d(xi , yj)，在平均失真度，在平均失真度 的可能取值范围的可能取值范围内。内。4.1基本概念7/20/202440信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失

41、真函数的定义域率失真函数的定义域 信源最小平均失真度信源最小平均失真度 Dminq 是非负函数是非负函数 d(xi , yj) 的数学期望，也是一个非负函的数学期望，也是一个非负函数，显然其下限为数，显然其下限为 0。因此。因此允许平均失真度允许平均失真度 D 的下限也必的下限也必然是然是 0，这就是不允许有任何失真的情况。，这就是不允许有任何失真的情况。q 允许平均失真度允许平均失真度 D 能否达到其下限值能否达到其下限值 0，与单个符号的，与单个符号的失真函数有关。失真函数有关。4.1基本概念7/20/202441信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信

42、息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最小平均失真度信源最小平均失真度 Dminq 信源最小平均失真度信源最小平均失真度 Dmin ：对于每一个对于每一个 xi，找出一个，找出一个 yj 与之对应，使与之对应，使 d(xi , yj) 最小，不同的最小，不同的 xi 对应的最小对应的最小 d(xi , yj) 也不同。这相当于在失真矩阵的每一行找出一个最小也不同。这相当于在失真矩阵的每一行找出一个最小的的 d(xi , yj) ，各行的最小，各行的最小 d(xi , yj) 值都不同。对所有这值都不同。对所有这些不同的最小值求数学期望，就是信源

43、的最小平均失真度。些不同的最小值求数学期望，就是信源的最小平均失真度。4.1基本概念7/20/202442信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最小平均失真度信源最小平均失真度 Dminq 只有当失真矩阵的每一行至少有一个只有当失真矩阵的每一行至少有一个 0 元素时，信源的平均失真度元素时，信源的平均失真度才能达到下限值才能达到下限值 0。当当 Dmin=0时（信源不允许任何失真存在），信息时（信源不允许任何失真存在），信息率至少应等于信源输出的平均信息量（信源熵），即

44、率至少应等于信源输出的平均信息量（信源熵），即 R(0)=H(X)。q 连续信源有连续信源有 。这时虽然信源熵是有限的，但信息。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真（不可能的。只有当允许失真（R(D)为有限值），传送才是可能的。为有限值），传送才是可能的。4.1基本概念7/20/202443信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最小平

45、均失真度信源最小平均失真度 Dmin 举例举例：除删信源除删信源 X 取值于取值于0,1，Y 取值于取值于 0,1,2，失真矩阵为：，失真矩阵为： 满足最小允许失真度的试验信道是一个无噪无损的试验信道：满足最小允许失真度的试验信道是一个无噪无损的试验信道：4.1基本概念7/20/202444信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最大平均失真度信源最大平均失真度 Dmaxq 信源最大平均失真度信源最大平均失真度 Dmax：必须的信息率越小，容忍的失真就必须的信息率越小，容

46、忍的失真就越大。当越大。当 R(D) 等于等于 0 时，对应的平均失真最大，也就是时，对应的平均失真最大，也就是函数函数 R(D) 定义域的上界值定义域的上界值 Dmax 。q 信息率失真函数是平均互信息的极小值：信息率失真函数是平均互信息的极小值： 当当 R(D) =0 时，平均互信息的极小值等于时，平均互信息的极小值等于 0； 当当 D Dmax 时，从数学意义上讲，因为时，从数学意义上讲，因为 R(D) 是非负函数，是非负函数，所以它仍只能等于所以它仍只能等于 0。这相当于输入这相当于输入 X 和输出和输出 Y 统计独立。意味着统计独立。意味着在接收端收不到信源在接收端收不到信源发送的任

47、何信息发送的任何信息，与，与信源不发送任何信息信源不发送任何信息等效。或者说等效。或者说传送信源符传送信源符号的信息率可以压缩至号的信息率可以压缩至 0。4.1基本概念7/20/202445信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最大平均失真度信源最大平均失真度 Dmaxq 计算计算 Dmax 的值的值 令试验信道特性令试验信道特性 p(yj /xi)= p(yj) (i=1,2,n) 这时这时 X 和和 Y 相相互独立，等效于通信中断，因此互独立，等效于通信中断，因此

48、I(X;Y) =0，即，即 R(D)=0。 满足上式的试验信道有许多，相应地可求出许多平均失真度值，满足上式的试验信道有许多，相应地可求出许多平均失真度值，从中选取最小的一个，就是这类平均失真值的下界从中选取最小的一个，就是这类平均失真值的下界 Dmax 。4.1基本概念7/20/202446信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 信源最大平均失真度信源最大平均失真度 Dmaxq 计算计算 Dmax 的值的值 上式是用不同的概率分布上式是用不同的概率分布 p(yj) 对对 D

49、j 求数学期望，取数学期求数学期望，取数学期望当中最小的一个作为望当中最小的一个作为 Dmax 。 实际是用实际是用 p(yj) 对对 Dj 进行线性分配，使线性分配的结果最小。进行线性分配，使线性分配的结果最小。当当 p(xi) 和和 d(xi , yj) 给定时，必可计算出给定时，必可计算出 Dj ，Dj 随随 j 的变化而变的变化而变化，化， p(yj) 是任选的，只需满足非负性和归一性。若是任选的，只需满足非负性和归一性。若 Ds 是所有是所有Dj 当中最小的一个，可取当中最小的一个，可取 p(ys)=1 ，其它，其它 p(yj) 为为 0，这时，这时 Dj 的线性的线性分配（数学期望

50、）必然最小，即：分配（数学期望）必然最小，即：4.1基本概念7/20/202447信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域4.1基本概念7/20/202448信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域例例4.1.1 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵 ， 计算计算 Dmax 。先计算先计算 Dj ： 根据概率的完备性：根据概率的完备性：p(y1)+

51、p(y2)=14.1基本概念7/20/202449信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域例例4.1.1 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵 ， 计算计算 Dmax 。当当 p(y1)=0，p(y2)=1 时，得到最小值：时，得到最小值：4.1基本概念7/20/202450信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(1) 率失真函数的定义域率失真函数的定义域 结论结论q R(D) 的定义域为

52、：的定义域为：(Dmin, Dmax)q 一般情况下：一般情况下：Dmin =0， R(Dmin)=H(X)q 当当 DDmax 时：时：R(D)=0q 当当 DminDDmax 时：时：0R(D)H(X)返回目录4.1基本概念7/20/202451信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(2) 率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性 对任一对任一 01 和任意平均失真度和任意平均失真度 D，DDmax， RD+(1)DR(D)+(1)R(D)。返回目录4.1基本概念7/20/202452信

53、息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.1.4 信息率失真函数的性质信息率失真函数的性质(3) 率失真函数的单调递减和连续率失真函数的单调递减和连续性性R(D) 的连续性的连续性：可由平均互信息可由平均互信息 I(X;Y) 是信道传递概率是信道传递概率p(yj/xi)的连续性来证明。的连续性来证明。R(D) 单调递减性单调递减性：可以证明，在可以证明，在 DminDDmax 时：时：在在 D=Dmax 处，处，除某些特例外，除某些特例外，S 将从某一个将从某一个负值跳到负值跳到 0，S 在此点不连续。在此点不连续。在在 D 的定义域的定义域 0, Dmax内，内，除某些

54、特例外，除某些特例外，S 将是将是 D 的的连续函数。连续函数。返回目录4.2离散信源的信息率失真函数7/20/202471信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明(3) 二元等概率离散信源的率失真函数二元等概率离散信源的率失真函数4.2离散信源的信息率失真函数7/20/202472信息论与编码原

55、理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数 设二元信源设二元信源 计算率失真函数计算率失真函数 R(D)4.2离散信源的信息率失真函数7/20/202473信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源

56、的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数 先求出先求出 Dmax4.2离散信源的信息率失真函数7/20/202474信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第一步：第一步：求求i，由式，由式 (4.2.11) 有：有：4.2离散信源的信息率失真函数7/20/202475信息论与编码原理信息论与编码原理_信息率失真函数信息

57、率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第二步：第二步：求求 p(yj)，由式，由式 (4.2.12) 有：有：4.2离散信源的信息率失真函数7/20/202476信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元

58、离散信源的率失真函数二元离散信源的率失真函数第三步：第三步：求求 p(yj/xi)，由式，由式 (4.2.10) 有：有：4.2离散信源的信息率失真函数7/20/202477信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第四步：第四步：求求 D(S)，将上述结果代入式，将上述结果代入式 (4.2.14) 有：有：4.2离散信源的信息率失真函数7/20/202

59、478信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五步：第五步：求求 R(S)将上述结果代入式将上述结果代入式 (4.2.15) 有：有：4.2离散信源的信息率失真函数7/20/202479信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等

60、概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五步：第五步：求求 R(S)对于这种简单信源，可从对于这种简单信源，可从 D(S) 解出解出 S 与与 D 的显式表达式：的显式表达式：4.2离散信源的信息率失真函数7/20/202480信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第五

61、步：第五步：求求 R(S)4.2离散信源的信息率失真函数7/20/202481信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(1) 二元离散信源的率失真函数二元离散信源的率失真函数第六步：第六步：通过以上通过以上步骤计算出来的步骤计算出来的 R(D) 和和 S(D)如图如图4.2.2。返回目录4.2离散信源的信息率失真函数7/20/202482信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.

62、2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明若若=1，把，把 d(xi , yj) 当成当成了误码个数，即了误码个数，即 X 和和 Y 不一致时，认为误了一不一致时，认为误了一个码元，所以：个码元，所以： d(xi , yj) 的数学期望就的数学期望就是平均误码率是平均误码率。能容忍。能容忍的失真等效于能容忍的的失真等效于能容忍的误码率。误码率。4.2离散信源的信息率失真函数7/20/202483信息论与编码原理信息论与编码

63、原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明若若 R(D) 不仅与不仅与 D 有关，还有关，还与与 p 有关。概率分布不同，有关。概率分布不同， R(D) 曲线就不一样。当曲线就不一样。当 p=0.25 时，如果能容忍的时，如果能容忍的误码率也是误码率也是 0.25，不用传，不用传送信息便可达到，即送信息便可达到，即 R=0，这就是，这就是 R(Dmax) =0 的含的含义义.例如：

64、不管信源发出的例如：不管信源发出的是是x1还是还是x2，都把它编成，都把它编成x2，则误码率就是信源发，则误码率就是信源发出出x1的概率的概率0.25，只送一，只送一种符号当然就不用传送种符号当然就不用传送信息，即信息，即R=0，这就是，这就是R(Dmax)=0的含义。的含义。4.2离散信源的信息率失真函数7/20/202484信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失

65、真函数曲线图说明当当 D 相同时，信源越趋相同时，信源越趋于等概率分布，于等概率分布， R(D) 就就越大。由最大离散熵定越大。由最大离散熵定理，信源越趋于等概率理，信源越趋于等概率分布，其熵越大，即不分布，其熵越大，即不确定性越大，要去除这确定性越大，要去除这不确定性所需的信息传不确定性所需的信息传输率就越大，而输率就越大，而 R(D) 正正是去除信源不确定性所是去除信源不确定性所必须的信息传输率。必须的信息传输率。4.2离散信源的信息率失真函数7/20/202485信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元

66、及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明 关于关于 S(D)q 它与它与 p 无直接关系，无直接关系，S(D) 曲线只有一条，曲线只有一条，p=0.5 和和 p=0.25 都可以用，但它都可以用，但它们的定义域不同；们的定义域不同；4.2离散信源的信息率失真函数7/20/202486信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二

67、元及等概率离散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明 关于关于 S(D)q p=0.25 时定义域是时定义域是 D=00.25，即到，即到 A 点为点为止，此时止，此时Smax=1.59。D0.25 时，时，S(D) 就恒为就恒为 0 了。所以在了。所以在 A 点点 S(D) 是不连续的；是不连续的；4.2离散信源的信息率失真函数7/20/202487信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离

68、散信源的信息率失真函数(2) 信息率失真函数曲线图说明信息率失真函数曲线图说明 关于关于 S(D)q 当当 p=0.5 时，曲线延时，曲线延伸至伸至 D=0.5处，此时处，此时 Smax=0，故，故 S(D) 是连续是连续曲线，定义域为曲线，定义域为 D=00.5。返回目录4.2离散信源的信息率失真函数7/20/202488信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(3) 二元二元等概率等概率离散信源的率失真

69、函数离散信源的率失真函数当上述二元信源呈等概率分布时，上面式子分别退化为：当上述二元信源呈等概率分布时，上面式子分别退化为：4.2离散信源的信息率失真函数7/20/202489信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.2.2 4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数(3) 二元二元等概率等概率离散信源的率失真函数离散信源的率失真函数这个结论很容易推广到这个结论很容易推广到 n 元等概率信源的情况。元等概率信源的情况。返回目录4.2离散信源的信息率失真函数7

70、/20/202490信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数7/20/202491信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式 条件条件q 信源：信源：XR=(,) q 信源信源 X 的概率密

71、度函数为：的概率密度函数为：p(x)q 信道的传递概率密度函数为：信道的传递概率密度函数为：p(y /x)q 信宿：信宿：YR=(,)q 信宿信宿 Y 的概率密度函数为：的概率密度函数为：p(y)q X 和和 Y 之间的失真度：之间的失真度：d(x,y)04.3连续信源的信息率失真函数7/20/202492信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式平均失真度为：平均失真度为：平均互信息为：平均互信息为：4.3

72、连续信源的信息率失真函数7/20/202493信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式PD为满足保真度准则为满足保真度准则 的所有试验信道集合。的所有试验信道集合。信息率失真函数为：信息率失真函数为：相当于离散信源中求极小值，严格地说，连续集合未必存相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。在极小值，但是一定存在下确界。4.3连续信源的信息率失真函数7/20/20249

73、4信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.1 4.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式R(D) 函数的参量表达式：函数的参量表达式：一般情况，在平均失真度一般情况，在平均失真度 积分存在情况下，积分存在情况下， R(D) 的的解存在，直接求解困难，用迭代算法计算机求解，只在特解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。殊情况下求解比较简单。返回目录4.3连续信源的信息率失真函数7/20/202495信息论与编码原理信息论与

74、编码原理_信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(1) 高斯信源特性及失真度高斯信源特性及失真度设连续信源的概率密度为设连续信源的概率密度为正态分布函数：正态分布函数：数学期望为：数学期望为：方差为：方差为：失真度失真度为为 d(x,y)=(xy)2，即把均方误差作为失真，表明通信系统中输，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3连续信源的信息率失真函数7/20/202496信息论与编码原理信息论与编码原理_信息率失真

75、函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性当信源均值不为当信源均值不为 0 时，时，仍有这个结果，因为高仍有这个结果，因为高斯信源的熵只与随机变斯信源的熵只与随机变量的方差有关，与均值量的方差有关，与均值无关。无关。4.3连续信源的信息率失真函数7/20/202497信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性当当 D=2 时，时，R(D)=0 ：这就是说，如果允许失这就是说，如果允许失

76、真（均方误差）等于信真（均方误差）等于信源的方差，只需用确知源的方差，只需用确知的均值的均值 m 来表示信源的来表示信源的输出，不需要传送信源输出，不需要传送信源的任何实际输出。的任何实际输出。4.3连续信源的信息率失真函数7/20/202498信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性当当 D=0 时，时，R(D)：这点说明在连续信源情这点说明在连续信源情况下，要毫无失真地传况下，要毫无失真地传送信源的输出是不可能送信源的输出是不可能的。即要毫无失真地传的。即要毫无

77、失真地传送信源的输出必须要求送信源的输出必须要求信道具有无限大的容量。信道具有无限大的容量。4.3连续信源的信息率失真函数7/20/202499信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.3.2 高斯信源的信息率失真函数高斯信源的信息率失真函数(2) 高斯信源高斯信源 R(D) 的特性的特性当当 0D0，当信息率，当信息率 RR(D) ，只要信源序列长度，只要信源序列长度 L 足够长，一定存在一种编码方式足够长，一定存在一种编码方式 C，使译码后的平均失真，使译码后的平均失真度度 ；反之，若：反之，若：RR(D)，则无论用什么编码方式，必有：则无论用什么编码方式，必有：即

78、译码平均失真必大于允许失真。即译码平均失真必大于允许失真。7/20/2024109信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.6 保真度准则下的信源编码定理保真度准则下的信源编码定理上述定理也称为上述定理也称为限失真信源编码定理限失真信源编码定理。该定理可推广到连。该定理可推广到连续平稳无记忆信源的情况。续平稳无记忆信源的情况。信息率失真函数也是一个界限。只要信息率大于这个界限，信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。

79、有失真，但仍能满足要求，否则就不能满足要求。返回目录7/20/2024110信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数4.7 信息论信息论“三大定理三大定理”总结总结香农信息论的三个基本概念香农信息论的三个基本概念信息熵信息熵、信道容量信道容量、信息率信息率失真函数失真函数，都是临界值，是从理论上衡量通信能否满足要，都是临界值，是从理论上衡量通信能否满足要求的重要界限。求的重要界限。香农的三个基本编码定理香农的三个基本编码定理无失真信源编码定理无失真信源编码定理、信道编信道编码定理码定理、限失真信源编码定理限失真信源编码定理，这是三个理想编码的存在，这是三个理想编码的存在性定理。分别又称为性定理。分别又称为香农第一香农第一、第二第二、第三定理定理。虽然三个定理都指出理想编码是存在的，但如何寻找编码虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到以及能否做到“理想编码理想编码”，则完全是另外一回事。正是，则完全是另外一回事。正是后面两章后面两章信源编码信源编码或或信道编码信道编码所要讨论的问题。所要讨论的问题。7/20/2024111信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数7/20/2024112信息论与编码原理信息论与编码原理_信息率失真函数信息率失真函数