《限失真信源编码定理和多用户信息论》由会员分享，可在线阅读，更多相关《限失真信源编码定理和多用户信息论（25页珍藏版）》请在金锄头文库上搜索。
1、限失真信源编码定理限失真信源编码定理 与多用户信息论与多用户信息论9 91 1 信息率失真函数信息率失真函数 实际通信系统当中，实现完全无失真的代价较大，实际通信系统当中，实现完全无失真的代价较大，设备昂贵，并且对于连续信源，要求绝对熵无限大，设备昂贵，并且对于连续信源，要求绝对熵无限大，要求信息率无限大，这也是不可能的；另一方面，我要求信息率无限大，这也是不可能的；另一方面，我们有时并不需要完全无失真的信息传输，而可以在一们有时并不需要完全无失真的信息传输，而可以在一定的误差之下，保证一定的失真度的条件下，进行信定的误差之下，保证一定的失真度的条件下，进行信息传输。（人的眼和耳有一定的感受范
2、围）息传输。（人的眼和耳有一定的感受范围） 随着科学技术的发展，数字系统得到了广泛应用，随着科学技术的发展，数字系统得到了广泛应用，也就带来传送、存储和处理大量的数据。例如在数字也就带来传送、存储和处理大量的数据。例如在数字通信系统中，普通电话的数码率为通信系统中，普通电话的数码率为64kbit/秒，可视电秒，可视电话的数码率为话的数码率为8.448Mbit/s。数字电视的传输率约为数字电视的传输率约为100100Mbit/sMbit/s。 要要求求在在保保证证一一定定质质量量（保保真真度度）地地条条件件下下近近似似地地再再现现原原来来的的信信息息，也也就就是是允允许许有有一一定定的的错错误误
3、存存在在，这这就就是是信信息息压压缩缩。在在允允许许一一定定的的失失真真条条件件下下，能能够够把把信信源源信信息息压压缩缩到到什什么么程程度度，即即最最少少需需要要多多少少比比特特数数才才能能描描述述信信源源，也也就就是是在在允允许许一一定定程程度度失失真真条条件件下下，如如何何快快速速地地传传递递消消息息？这这就就是是信信息息率率失失真真理理论论研研究究的的问问题题。它它是是量量化化、数数模模转转换换、频频带压缩和数据压缩的理论基础。带压缩和数据压缩的理论基础。 信信息息率率失失真真函函数数R(D)就就是是在在允允许许一一定定的的失失真真度度D的的条条件件下下最最小小的的信信息息传传输输率率
4、。限限失失真真信信源源编编码码定定理理（香香农农第第三三定定理理）就就是是说说：只只要要信信息息率率 R 大大于于 R(D)，就就一一定定存存在在一一种编码，以使译码后的失真小于种编码，以使译码后的失真小于 D。1、失真函数（失真度）、失真函数（失真度）设离散无记忆信源，信源变量设离散无记忆信源，信源变量通过信道传送到接收端的接受变量通过信道传送到接收端的接受变量对于每一对（对于每一对（u，v），），定义定义 单符号失真度单符号失真度单符号失真度单符号失真度 为为共有共有 r s 个，为失真矩阵个，为失真矩阵我们可以定义：我们可以定义：信源信源信源信源编码编码信道信道编码编码信源信源编码编码信
5、道信道译码译码信道信道信宿信宿干扰干扰广义干扰信道广义干扰信道vu平均失真平均失真因为因为 都是随机量，则平均失真都是随机量，则平均失真: （对应变量之间的）对应变量之间的）设有信源输出离散随机变量序列设有信源输出离散随机变量序列令译码输出为令译码输出为序列的失真度为：序列的失真度为：平均失真为：平均失真为：信道与信源都是无记忆的情况：信道与信源都是无记忆的情况：保真度准则：对于允许的失真保真度准则：对于允许的失真 D因为信源特性和单个符号的失真函数为已知，编码因为信源特性和单个符号的失真函数为已知，编码不同相当于不同相当于 不同。有失真信源编码问题就是从不同。有失真信源编码问题就是从满足满足
6、 的所有编码方式或所有的所有编码方式或所有 中选择中选择一种使信息率为最小。用一种使信息率为最小。用 表示满足条件的表示满足条件的 全全体，体，信息率失真函数信息率失真函数R(D)为为2、信息率失真函数、信息率失真函数如果我们要求平均失真小于某个定值如果我们要求平均失真小于某个定值D，即即它表示在它表示在 下信源必须传输的最小平均信息量。下信源必须传输的最小平均信息量。R(D)DmaxH(X)D离散源连续源R(D)的性质：的性质：信息率失真函数理论属于信源编码问题：信息率失真函数理论属于信源编码问题： 试验信道试验信道 R(D)的计算：求极值。的计算：求极值。是是D的单调减函数。的单调减函数。
7、拉格朗日算子法拉格朗日算子法9 92 2 限失真信源编码定理限失真信源编码定理离散无记忆信源的限失真编码定理离散无记忆信源的限失真编码定理 ( (香农第三定理香农第三定理):): 若若一一离离散散无无记记忆忆平平稳稳信信源源的的率率失失真真函函数数是是R(D)，则则当当信信息息率率R R(D)时时，只只要要信信源源序序列列长长度度L足足够够长长，一一定定存存在在一一种种编编码码方方式式C，其其译译码码失失真真小小于于或或等等于于D ， 为为任任意意小小的的正正数数。反反之之，若若R R(D)，则则无无论论用用什什么么编编码码方式，其译码失真必大于方式，其译码失真必大于D。（失真典型序列）失真典
8、型序列）限失真信源编码方法：预测法、变换法、限失真信源编码方法：预测法、变换法、9 93 3 相关信源编码相关信源编码多用户信息论（网络信息论）：多用户信息论（网络信息论）： 当信息系统涉及三个或更多个用户时构成的通信系统。当信息系统涉及三个或更多个用户时构成的通信系统。 前面研究的是只有一个信源和一个信宿的单向前面研究的是只有一个信源和一个信宿的单向通信的单用户通信系统。随着空间通信、通信网和通信的单用户通信系统。随着空间通信、通信网和计算机网的发展，信息论的研究已从单用户通信系计算机网的发展，信息论的研究已从单用户通信系统发展到网络通信系统。统发展到网络通信系统。 实际通信系统例如电话交换
9、网、广播网、计算机网实际通信系统例如电话交换网、广播网、计算机网等都是网络通信系统。该系统的输入端涉及到两个或等都是网络通信系统。该系统的输入端涉及到两个或两个以上的信源，或者输出端涉及到两个或两个以上两个以上的信源，或者输出端涉及到两个或两个以上的信宿（终端或用户）。随着互联网、卫星通信、光的信宿（终端或用户）。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。这些纤通信、移动通信的发展，通信范围越来越大。这些通信网都是复杂的信息流通系统，信息是在众多用户通信网都是复杂的信息流通系统，信息是在众多用户和方向中流通的。怎样在这些网络通信中有效和可靠和方向中流通的。怎样在这些网络
10、通信中有效和可靠的传递信息，就是网络信息论（多用户信息论）所研的传递信息，就是网络信息论（多用户信息论）所研究的问题究的问题 。IEEE Transaction on Information Theory边信息边信息： 提供给提供给 ，或者，或者 提供提供 给的信息。给的信息。相关信源独立编码定理：相关信源独立编码定理： 对于任意离散无记忆信源，所有的可达速率对满足对于任意离散无记忆信源，所有的可达速率对满足 信源信源1信源信源2信源编码器信源编码器1信源编码器信源编码器2译码器U1lU2lR1R2U1lU2l也就是一种互信息。已知也就是一种互信息。已知 时已经提供了一些关于时已经提供了一些关
11、于 的信息，因此只要获得大于的信息，因此只要获得大于 的信息量的信息量就可以完全确定就可以完全确定 。 是疑义度，已知是疑义度，已知 后关于后关于 的剩余信息量，所以边信息就是互信息。的剩余信息量，所以边信息就是互信息。只不过原来用于编码器、信道的输入输出，现在用只不过原来用于编码器、信道的输入输出，现在用于并行处理。于并行处理。R2H(S2)H(S1S2)可达速率域RR1+R2=H(S1S2)R1H(S2|S1)H(S1|S2)H(S1) H(S1S2)9 94 4 多址接入信道和广播信道多址接入信道和广播信道 多址接入信道就是多个不同信源的信息经过几多址接入信道就是多个不同信源的信息经过几
12、个编码器后送入同一个信道传送，收端仅仅由一个个编码器后送入同一个信道传送，收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从译码器译出不同信源的信息，送给不同的信宿。从信道来看，它是多输入单输出信道。信道来看，它是多输入单输出信道。 广播信道就是有一个发端和多个收端的信道。广播信道就是有一个发端和多个收端的信道。 译码器译码器信道信道X2XMX1Y信源信源1信源信源2信源信源3编码器编码器2编码器编码器1编码器编码器3U1U2UMU2U1UM多址接入信道多址接入信道卫星通信的上行线路卫星通信的上行线路 信信 道道信源信源1信源信源2信源信源3U1U2UM编码器编码器X译码器译码器1译码
13、器译码器1译码器译码器1Y2YMY1U2U1UM广播信道广播信道卫星通信的下行线路卫星通信的下行线路信源信源1信源信源2编码器1编码器2信源信源M编码器M 信信 道道译码器译码器T译码器译码器2译码器译码器1X1X2U11U12U21U22多用户通信网多用户通信网信源信源1信源信源2编码器编码器2编码器编码器1信信 道道译码器译码器U1U2X1X2Y定理定理：具有两个发射端具有两个发射端 的多址接入信道的容量区域，的多址接入信道的容量区域， 由满足下述的范围给定：由满足下述的范围给定： R2I(X2;Y|X1)R1I(X1X2;Y)I(X1X2;Y)I(X1;Y)I(X2;Y)I(X1;Y|X2)容量区信源信源1信源信源2译码器译码器2编编码码器器信信道道译码器译码器1U1U2XY2Y1信宿信宿2信宿信宿1对于一般离散无记忆广播信道，尚无成熟的结论，对于一般离散无记忆广播信道，尚无成熟的结论，只对一些特殊条件下给出了容量区。只对一些特殊条件下给出了容量区。第九讲第九讲 限失真信源编码定理限失真信源编码定理 与多用户信息论与多用户信息论 结结 束束
