《信息论基础 第5章 限失真信源编码和率失真函数》由会员分享，可在线阅读，更多相关《信息论基础 第5章 限失真信源编码和率失真函数（31页珍藏版）》请在金锄头文库上搜索。
1、信息论基础第5章 限失真信源编码和率失真函数u信道不可能实现对消息的完全无失真传输u在现实生活中，不要求获得完全无失真的消息 ，只要求近似再现原消息u允许一定失真，所以对信息率的要求降低u信息率失真理论由香农提出，定义了R(D)u引入失真函数，计算在失真度条件下信息率的 极小值5.1 限失真信源编码模型和率失真函数限失真信源编码模型和率失真函数 5.2 率失真函数的计算率失真函数的计算5.3 限失真信源编码定理限失真信源编码定理信源信源 编码信道 编码信道信道 译码信源 译码信宿干扰根据信道编码定理，我们可以把信道编码、信道和信道译 码等价成是一个没有任何干扰的广义信道，这样收信者收到 消息后
2、，所产生的失真只是由信源编码带来的。5.1限失真信源编码模型和率失真函数广义无扰 信道信源信宿试验信道 允许失真越大，信息传输率越小；反之，信息率越大 信息传输率与信源编码引起的失真有关 为了定量描述信息传输率与失真的关系 可以略去广义的干扰信道 用虚拟信道表示失真信源编码作用，即将信源编码看成 是通过一个信道寻找在保真度准则下的最小互信息现在我们要研究在给定允许失真的条件下，是否可以设计 一种信源编码使信息传输率为最低。为此，我们首先讨论 失真的测度。设信源变量为 ，其概率分布为 对于每一对(x,y)，我们指定一个非负的函数称为单个符号的失真度（或称失真函数）接收端变量为 ，其概率分布为 失
3、真度和平均失真度失真度和平均失真度失真函数用来表征信源发出一个符号 ，而在接收端再 现成符号 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。称为失真矩阵。失真度和平均失真度失真度和平均失真度失真函数用来表征信源发出一个符号 ，而在接收端再 现成符号 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式：1：失真矩阵为：汉明失真在二元情况下：失真度和平均失真度失真度和平均失真度常用的失真函数例1：对称信源n=m，定义失真度为：当n=m=3时，失真矩阵为：2：平方误差失真3：绝对失真失真度和平均失真度失真度和平均失真度例2：删除信源对于
4、二元删除信源r=2,s=3失真度和平均失真度失真度和平均失真度2、平均失真度若已知试验信道的传递概率，则平均失真度为：若平均失真度 不大于我们所允许的失真D，我们称此为 保真度准则。凡满足保真度准则的这些试验信道称为失真度D允许试验信道 。把所有D失真允许的试验信道组成一个集合，用符号 表示 。失真度和平均失真度失真度和平均失真度例： 求汉明失真的平均失真度在通信中代表信源值与估计值 不等的概率，汉明失真也称 误差概率失真 把保真度准则作为信道转移概率的约束，求信息率 R=I(X;Y)的最小值有实用意义失真度和平均失真度失真度和平均失真度长度为n的信源符号序列的失真度失真度和平均失真度失真度和
5、平均失真度失真度和平均失真度失真度和平均失真度凡满足保真度准则的这些试验信道称为失真度D允许试验信道 。把所有D失真允许的试验信道组成一个集合，用符号 表示 。信息率失真函数及其性质一、信息率失真函数当信源和失真函数给定后，我们总希望在满足保真度准 则下寻找平均互信息的最小值。也就是在 中找一个信 道，使平均互信息取极小值。这个最小值就是在 的 条件下，信源必须传输的最小平均信息量。 改变试验信道求平均互信息的最小值，实质上是选择一种 编码方式使信息传输率为最小。1).2).3).当给定信源X及失真矩阵D时，信源的最小平均失真度为信息率失真函数及其性质信息率失真函数及其性质二、 信息率失真函数
6、的性质(1)、 和信息率失真函数及其性质信息率失真函数及其性质1)、R(D)的定义域是信息率失真函数及其性质信息率失真函数及其性质信源的最小平均失真度允许失真度D的最小值为0，即不允许有失真，这要求失真 矩阵中每行至少有一个为0。R(0)的最小值为H(X)，即信息传输率至少为信源的信息熵满足最小失真度的试验信道是一个无噪无损信道：信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质(2)因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只 能为0，此时，发送与接收统计独立，即：失真度函数变为：信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质所以， 就是在R(D)=0的情况下，求 的最小值可以这样选 ，当 最小时，取 等于1，则：信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质信息率失真函数及其性质当 时， 而当 时(3)率失真函数的性质 对应教材p116定理5.1.1信息率失真函数及其性质信息率失真函数及其性质2)、 R(D)函数的单调递减性和连续性0DR(D)信息率失真函数及其性质信息率失真函数及其性质二进信源的率失真函数计算5.25.2率失真函数的计算率失真函数的计算
