《信息理论与编码6》由会员分享，可在线阅读，更多相关《信息理论与编码6（58页珍藏版）》请在金锄头文库上搜索。
1、信息理论与编码吕锋、王虹、刘皓春、苏扬信息理论与编码信息理论与编码1 1第六章第六章 限失真信源编码限失真信源编码主要内容n第1章 绪论n第2章 信息的度量n第3章 信道模型和信道容量n第4章 离散无记忆信源无失真编码n第5章 有噪信道编码n第6章 限失真信源编码n第7章 网络信息论基础n第8 章 信息安全与密码学基础信息理论与编码信息理论与编码2 2第六章第六章 限失真信源编码限失真信源编码第6章 限失真信源编码有失真编码的目的在允许的失真范围内把编码后的信息率压缩到信源编码模型最小。信道 （信源编码器）信源信源编码模型 信息理论与编码信息理论与编码3 3第六章第六章 限失真信源编码限失真信
2、源编码引入有失真编码的原因（1）保熵编码并非总是必需的。（2）保熵编码并非总是可能的。（3）降低信息率有利于传输和处理，因此有必要进行熵压缩编码。信息理论与编码信息理论与编码4 4第六章第六章 限失真信源编码限失真信源编码本章主要内容n6.1 失真测度n6.2 信息率失真函数及其性质n6.3 限失真信源编码定理n6.4 信息率失真函数的计算信息理论与编码信息理论与编码5 5第六章第六章 限失真信源编码限失真信源编码6.1 失真测度失真度和失真矩阵常用的失真度 N 长符号序列的失真度 N 长符号序列的平均失真度 信息理论与编码信息理论与编码6 6第六章第六章 限失真信源编码限失真信源编码失真度和
3、失真矩阵设信源输出随机变量为U ，取值于符号集为 ；经信源编码后的输出随机变量为V ，取值于符 号集为 。编码器输入符号 与输出符号 之间的误差或 失真可用函数 来描述。将rs个 排成矩阵形式，称为失真矩阵， 记为 ： 信息理论与编码信息理论与编码7 7第六章第六章 限失真信源编码限失真信源编码对所有符号的失真度 取统计平均，称为平均失真度或平均失真，记为 ：信息理论与编码信息理论与编码8 8第六章第六章 限失真信源编码限失真信源编码常用的失真度误码失真： 均方失真： 绝对失真： 相对失真： 信息理论与编码信息理论与编码9 9第六章第六章 限失真信源编码限失真信源编码N 长符号序列的失真度对于
4、符号序列，可将失真度或失真函数的 定义可推广到矢量形式。设编码器输入 和输出 均为N 长符号 序列，即则N 长符号序列的失真度 可定义为是输入/出序列第 k 位符号失真度。信息理论与编码信息理论与编码1010第六章第六章 限失真信源编码限失真信源编码N 长符号序列的平均失真度当信源和信道（编码器）均无记忆时，式中 是单符号的平均失真度。 信息理论与编码信息理论与编码1111第六章第六章 限失真信源编码限失真信源编码6.2 信息率失真函数及其性质 n6.2.1 信息率失真函数的定义n6.2.2 信息率失真函数的性质信息理论与编码信息理论与编码1212第六章第六章 限失真信源编码限失真信源编码6.
5、2.1 信息率失真函数的定义保真度准则 信息率失真函数扩展信源 的信息率失真函数 信息理论与编码信息理论与编码1313第六章第六章 限失真信源编码限失真信源编码保真度准则 如果要求平均失真 小于某个给定值D ，即要求上式所给的限制条件称为保真度准则。满足保真度准则 的信道称为D允许 （试验）信道。所有D允许信道的转移概率组成一个集合， 记为 ：信息理论与编码信息理论与编码1414第六章第六章 限失真信源编码限失真信源编码信息率失真函数 在 中寻求一个 使 最小，这 个最小的平均互信息量称为信息率失真函数 ，简称为率失真函数，记为 ，即当最小值不存在时，可用下界值代替：对于离散信源， 可表示成信
6、息理论与编码信息理论与编码1515第六章第六章 限失真信源编码限失真信源编码扩展信源 的信息率失真函数 率失真函数可推广到序列情形。讨论N 次扩展信源 和N次扩展信道 。试验信道为所有满足保真度准则 的信道的集合，这些试验信道的转移概率 组成集合 ：信息理论与编码信息理论与编码1616第六章第六章 限失真信源编码限失真信源编码必存在一个转移概率（代表某个试验 信道）使 最小，该最小值就是N 次 扩展信源 的信息率失真函数，记为 ：若信源和信道均无记忆，则有信息理论与编码信息理论与编码1717第六章第六章 限失真信源编码限失真信源编码6.2.2 信息率失真函数的性质的定义域是D 的下凸函数是定义
7、域上的非增函数 保真度准则中的不等式约束条件 信息理论与编码信息理论与编码1818第六章第六章 限失真信源编码限失真信源编码的定义域对于给定的信道 ，信息率R 是输入概率 和转移概率 的函数，输入概率 是已知量，转移概率 由保真度准则予以限制，因此R 是允许的平均失真D 的函数，记为 。由于D 是失真度 的统计平均，而 非负，因此D 也非负，其下界是零，对应于无失真情况。信息理论与编码信息理论与编码1919第六章第六章 限失真信源编码限失真信源编码这时编码器相当于无噪声信道，信道传输的信息量等于信源熵，等号成立的条件是：失真矩阵每行至少有一个零，且每列至多有一个零。由 的定义式可知， 非负，下
8、限值为零，取满足 的所有D 中最小者为 定义域的上限值 。信息理论与编码信息理论与编码2020第六章第六章 限失真信源编码限失真信源编码例 设输入概率和失真矩阵分别为求 。解 信息理论与编码信息理论与编码2121第六章第六章 限失真信源编码限失真信源编码根据概率的完备性，即 有当 ，即 时，得到 最小值：信息理论与编码信息理论与编码2222第六章第六章 限失真信源编码限失真信源编码意味着 ，这时试验信道输入与输出是互相统计独立的，即 ，这时平均失真为取上式 的最小值为 ，即综上所述， 的定义域是 。信息理论与编码信息理论与编码2323第六章第六章 限失真信源编码限失真信源编码是D 的下凸函数若
9、有 、 及 、 、 ，满足 和 ，则有证明 设 是达到 的转移概率， 设 是达到 的转移概率，针对同 一信源，两种转移概率下的平均互信息量分 别设为 和 ，则由率失真函 数的定义有信息理论与编码信息理论与编码2424第六章第六章 限失真信源编码限失真信源编码现在定义一个新的转移概率在该转移概率下编码器的平均失真为信息理论与编码信息理论与编码2525第六章第六章 限失真信源编码限失真信源编码设此时编码器的平均互信息量为 ， 则有由于平均互信息量是关于转移概率的 下凸函数，则得综上 信息理论与编码信息理论与编码2626第六章第六章 限失真信源编码限失真信源编码是定义域上的非增函数证明 设 ，则对应
10、试验信道的转移概率 有如下包含关系故也就是即 是定义域上的非增函数。信息理论与编码信息理论与编码2727第六章第六章 限失真信源编码限失真信源编码曲线的一般形状如图所示。图中 和 的值取决于失真矩阵， 的下限可 取至零， 的上限可取至无穷大。 的 值为零，而 需要通过计算得出。曲线的一般形状信息理论与编码信息理论与编码2828第六章第六章 限失真信源编码限失真信源编码保真度准则中的不等式约束条件由于 是严格单调递减函数，所以在 试验信道转移概率集合 中，使平均互信息 量最小的转移概率必落在的 边界上。保真度准则中的不等式约束可替换为等 式约束，即可在等式约束条件 下计算率失真函数 。信息理论与
11、编码信息理论与编码2929第六章第六章 限失真信源编码限失真信源编码6.3 限失真信源编码定理限失真信源编码定理（香农第三编码定理）设离散无记忆平稳信源的信息率失真函数为 ，只要满足 ，当信源序列K 足够长时，一 定存在一种编码方法，其译码失真小于或等于 ，其中 是任意小的正数；反过来，若 ，则无论采用什么样的编码方法，其译码失真必大 于D 。该定理包含两部分， 的情形称为正定 理， 的情形称为逆定理。信息理论与编码信息理论与编码3030第六章第六章 限失真信源编码限失真信源编码6.4 信息率失真函数的计算n6.4.1 离散信源信息率失真函数的参量表示 计算方法n6.4.2 离散信源信息率失真
12、函数的迭代计算 方法信息理论与编码信息理论与编码3131第六章第六章 限失真信源编码限失真信源编码6.4.1离散信源信息率失真函数的 参量表示计算方法计算条件计算的约束条件 计算方法计算 方法 计算信息率失真函数参量S 的物理意义信息率失真函数 与D 的关系曲线 信息理论与编码信息理论与编码3232第六章第六章 限失真信源编码限失真信源编码计算条件 （1）已知信源的概率分布（2）失真函数为 ， 。选取合适的试验信道 ，计算平均 互信息的极小值。平均互信息表达式其中， 可表示为 。信息理论与编码信息理论与编码3333第六章第六章 限失真信源编码限失真信源编码计算的约束条件 信息理论与编码信息理论
13、与编码3434第六章第六章 限失真信源编码限失真信源编码计算方法应用拉格朗日乘子法，引入乘子S 和 ，可将求条件极值问题化为无条件极值问 题。即求解(1)分别计算以上三部分的偏导数：信息理论与编码信息理论与编码3535第六章第六章 限失真信源编码限失真信源编码信息理论与编码信息理论与编码3636第六章第六章 限失真信源编码限失真信源编码将三个偏导的结果代入式（1）得(2)信息理论与编码信息理论与编码3737第六章第六章 限失真信源编码限失真信源编码解式(2)得为计算方便，令 ，因此(3)信息理论与编码信息理论与编码3838第六章第六章 限失真信源编码限失真信源编码计算 方法 利用关系 和对式(3)求和：解得 （4）信息理论与编码信息理论与编码3939第六章第六章 限失真信源编码限失真信源编码对式(3)两边乘以 求和：方程两边约去 （假设
