《TH2012-L11(第三章-3)(20120509)595901443》由会员分享，可在线阅读，更多相关《TH2012-L11(第三章-3)(20120509)595901443（82页珍藏版）》请在金锄头文库上搜索。
1、1,信道及其信道容量(第三章 ),信道的组合连续信道加性高斯噪声信道3. 模拟信道香农定理,2,信噪比 (SNR),单位：dB,信噪比10log10(S/N),带宽一定时，信道的最大传输率是信噪比的增函数,信噪比确定时，信道容量与带宽成正比，提高最大信息传输率的方法是提高带宽,3,香农公式应用,对有确定信道容量的信道，用带宽与信噪比的不同组合来传输信息。,减少带宽 ：发送较大功率的信号,增大带宽 ：同样的信道容量能够用较小功率的信号传输，宽带系统具有良好的抗干扰性,信噪比很小：利用宽带系统改善通信质量，保证在强干扰下进行可靠通信（信号被噪声湮没）,4,增加带宽而不改变信号平均功率时容量的极限,
2、5,增加信号平均功率而不改变带宽时容量的极限,6,信号功率极限的有效利用,7,8,多电平正交调幅(MQAM)和多电平相移键控(MPSK)在理想情况下所达到的功率和带宽的利用率,功率受限下有效利 用信道带宽的极限,MPSK,MQAM,4,16,64,256,8,16,32,64,9,第六章 限失真数据压缩,1. 离散无记忆信源 1.1 失真度函数和失真矩阵 1.2 率失真函数及其性质 2. 率失真函数的计算 2.1 简单情况 2.2 参数方程法求解,10,3. 连续无记忆信源 3.1 率失真函数的定义 3.2 解的充要条件 3.3 差失真度量的计算 4. 连续有记忆信源 4.1 率失真函数的定义
3、 4.2 高斯连续有记忆信源的率失真函数,11,5. 模拟信源 5.1 率失真函数的定义 5.2 高斯模拟信源的率失真函数 6. 限失真信源编码定理（香农第三定理）,12,信息传输中的失真,（1）无失真在理论上无法 解决（2）许多实际系统中失真 是一定存在的（3）实际应用中，允许一 定程度的失真,连续信源输出的消息要用无穷多比特数描述才能无失真再现消息，信道的带宽有限，无法实现不失真 电话，速率为 64 Kbit /s ，要求高速率，则需增加传输与处理数据的复杂性(硬件设备)，为此进行压缩，产生失真 语音信号传输，正常带宽：8KHz20KHz, 人耳的分辨能力： 300Hz3400Hz传,输中
4、的失真是允许的,13,500492: 68K JPG,500375: 80.9K JPG,14,问题,失真存在不影响实际的信息传输允许失真条件下，对信源输出信息进行压缩，并再现信 源信息，信道得以充分利用问题： 允许失真条件下，对信源信息压缩到什么程度， 才能再现信源信息？ 信源限失真编码熵压缩 熵压缩的下限值压缩不低于该值，保证在允许失 真下再现信源信息 ？,15,16,17,1.离散无记忆信源, 1.1 失真度函数和失真矩阵（1） 失真函数 设单符号离散无记忆信源 （信源编码器广义信道）,18,失真函数,信道输出符号： 称非负函数 为输入 与输出 之间的失真度（失真函数）。描述了输入符号
5、，接收端出现符号 时的失真。 值越小，失真越小; 等于零，无失真,19,信源编码与失真函数,20,失真矩阵： 例：离散对称信源，信道输入输出及失真函数为： 当再现符号与发送符号相对应时，失真不存，即 当再现符号与发送符号不对应时，失真存在，且每个失真 相同，为常数 1 ，该失真为汉明失真。,21,失真矩阵为：平均失真 失真函数在输入输出联合空间中取统计平均： 给定信源分布和转移概率分布时，信道传输失真总体的平均量度。注：失真函数可根据需要选取。,22,多符号离散无记忆信源 输入为 N 长序列： 输出为 N 长序列： 失真函数： 序列的失真度等于序列中对应的单符号的失真度之和。平均失真：对一个符
6、号的平均失真：,23,注：当输入是独立同分布，信道是无记忆时，即 可以验证 ，事实上,24,25,26,注： 信源分布 给定，而转移概率 是可以选择的， 称为试验转移概率 。 N 次扩展信源（编码器） 输入序列： 输出序列：失真函数 平均失真,27,对单符号的平均失真： 同多符号信源，可验证结论：独立同分布离散平稳信源输出的 N 长信息序列通过离散无记忆信道传输，其平均失真度等于单符号信源平均失真度的 N 倍。试验信道 Q：信源编码器，其统计特性为,28,（2） 保真度准则允许失真： 给定的一个平均失真 保真度准则： 若试验信道平均失真 满足： 称 满足保真度准则。 注 (1) 与信源及试验信
7、道的统计特性有关。 (2) 设 , 给定。选择不同的试验信道，相 当于采用不同的编码方法，得到的平均失真将不同。,29,设给定允许失真 , 将所有的试验信道集合分为两个集合： 允许失真信道： 中的信道。 1.2 率失真函数及其性质 率失真函数 给定信源和失真函数，希望在保真度准则下，信道的传输速率最小，即使互信息 最小： 找到 中的信道 ，使 信息率失真函数。,30,注（1）由于 关于 是下凸函数，而为闭集，所 以 是存在的。 （2）信息率失真函数 与信道容量 C 信道容量 C： 给定信道，选择一个信源使信息传输 率最大。信道容量反映了信道传输信息的能力，与信道无关，是信道固有的特性。研究信道
8、容量是为了充分利用信道，使传输的信息量最大而错误概率任意小，是信道编码问题。信息率失真函数 ：在信源和允许失真确定时，选择一种试验信道使信息传输率最小。率失真函数是在信源给定的情况下，信宿以满足失真要求而再现信源信息所必须获得的最小平均信息量。率失真函数反映了信源可压缩的程度，最低值。,31,反映了信源固有的特性。在一定的失真要求下，尽量能用最少的码符号传送信源消息，使信息尽快传输给信宿，提高通信有效性。研究率失真函数问题是信源编码。问题。率失真函数 的性质 （1）定义域 的确定 平均失真 是非负实函数 的数学期望, ，所以下限为 0 ，则允许失真 的下限也为0 ，其对应于不允许失真的情况。,
9、32,一般 由此，选择试验信道Q: 使对每一个 ，和式 为最小，则总和一定可以达到最小。 由于 对于每一个 ，失真矩阵中的第 行一定存在一 个或若干个最小值，于是可取试验信道如下:,33,34,例1：,35,例2：,36,的确定 平均失真的上界为 ：由 的定义，该函数是互信息在一定约束条件下的最小值。而互信息函数是非负的，其下限值为 0。由此可知， 也是非负的，其下限值也为 0。,37,所以,38,（2） 在定义域内是关于 D 的下凸函数,39,40,（3） 是 上的严格递减函数 是连续函数：上有界的下凸函数在其定义域的内点是连续的， 在定义域内是非增函数： 事实上，若 D1 D2 ，则满足保
10、真度准则 D1 和 D2,41,(4),42,图 曲线的一般形状,43,例：,44,45,编码器为：,46,47,48,2.离散无记忆信源率失真函数的计算,49,2. 率失真函数的计算 2.1 简单情况 具有汉明失真矩阵的离散信源。 (1) 二元对称信源,50,51,52,53,54,问题的熵压缩编码解释,熵压缩编码器,输入：0，1：p，1-p,输出：0，1,失真,55,多元离散对称信源,56,57,58,59,分析： 对于同一失真 D ，K 越大，R(D) 越大，表明信源可压缩的程度越小。 K信源量化电平数：K 越大，电平越多，信源可压缩的程度越小。K 越小，电平越少，信源可压缩的程度越大。
11、 指导实际信源的分层量化。,60, 2.2 参数方程法求解,61,62,63,64,65,66,67,68,分析：,69,70,71,失真率函数,72,解的充要条件定理 1： 离散互信息在试验信道矩阵为 Q 时达到 R(D) 的充要条件是, Q 中的元素满足：,73,其中： 此时有：证明(类似于信道容量解的充要条件定理，应用Kuhn-Tucker定理）,74,定理 2：证明：,75,76,试验信道的非唯一性 对应于 R(D) 的解是不唯一的。 如果 Q1,Q2 均使互信息达到 R(D)，则对于 非负数 设 Q= Q1 + (1- )Q2 ,则 Q也是 D 允许试验信道。,77,和失真下乘积信源的信息速率失真函数,78,矢量量化,适量量化器,79,量化过程,1980年矢量量化器设计算法-LBG算法,80,回顾,关于 D 的下凸函数,严格递减函数,对于离散无记忆信源：1. 具有对称性，有解析解2. 参数方程法3. 迭代算法,计算,解的充要条件,连续无记忆信源,连续有记忆信源,81,对理论的实质的理解,
