信息论基础理论与应用第三版傅祖芸第三章PPT课件

资源描述

《信息论基础理论与应用第三版傅祖芸第三章PPT课件》由会员分享，可在线阅读，更多相关《信息论基础理论与应用第三版傅祖芸第三章PPT课件（111页珍藏版）》请在金锄头文库上搜索。

1、第三章第三章离散信道及其信道容量离散信道及其信道容量第一节第一节信道的数学模型及分类信道的数学模型及分类第二节第二节平均互信息平均互信息第三节第三节平均互信息的特性平均互信息的特性第四节第四节信道容量及其计算方法信道容量及其计算方法第五节第五节离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第六节第六节信源与信道的匹配信源与信道的匹配1u信道的任务：信道的任务：以以信号方式信号方式传输信息和存储信息。传输信息和存储信息。u研究内容：研究内容：信道中能够传送或存储的最大信息量，即信道容量。信道中能够传送或存储的最大信息量，即信道容量。23.1 3.1 信道的数学

2、模型和分类信道的数学模型和分类数字通信系统的一般模型数字通信系统的一般模型3一、信道的分类一、信道的分类根据载荷消息的媒体不同根据载荷消息的媒体不同邮递信道邮递信道邮递信道邮递信道电、磁信道电、磁信道电、磁信道电、磁信道光信道光信道光信道光信道声信道声信道声信道声信道根据信道用户的多少根据信道用户的多少单用户（两端）信道单用户（两端）信道单用户（两端）信道单用户（两端）信道一个输入端和一个输出端的一个输入端和一个输出端的单向单向通信；通信；多用户信道多用户信道多用户信道多用户信道至少有一端有两个以上的用至少有一端有两个以上的用户，可以是双向通信；（计算机户，可以是双向通信；（计算机通信

3、、卫星通信、广播通信等）通信、卫星通信、广播通信等）4根据输入端和输出根据输入端和输出端的关联端的关联无反馈信道无反馈信道无反馈信道无反馈信道有反馈信道有反馈信道有反馈信道有反馈信道信道参数与时间的关系信道参数与时间的关系固定参数信道固定参数信道时变参数信道时变参数信道5根据输入输出信号的根据输入输出信号的特点特点离散信道离散信道（离散随机序列（离散随机序列- -离散随机序列）离散随机序列）连续信道连续信道（连续值随机序列（连续值随机序列- -连续值随机序列）连续值随机序列）半离散半连续信道半离散半连续信道（离散随机序列（离散随机序列- -连续值随机序列）连续值随机序列）波形信道（模拟

4、信道）波形信道（模拟信道）（时间、取值连续随机信号（时间、取值连续随机信号- -时间、取值连续随机信号）时间、取值连续随机信号）我们只研究：我们只研究：无反馈、固定参数的单用户离散信道。无反馈、固定参数的单用户离散信道。6信道分析的方法信道分析的方法信源输出的是携带者信息的消息，而消息必须首信源输出的是携带者信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后经过信先转换成能在信道中传输或存储的信号，然后经过信道传送到接收者。道传送到接收者。一般认为，噪声或干扰主要从信道中引入，它使信一般认为，噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。号通过信道传输后

5、产生错误和失真。因此，信道的输入和输出信号之间一般不是确定的因此，信道的输入和输出信号之间一般不是确定的函数关系，而是函数关系，而是统计依赖关系统计依赖关系。只要知道信道的输入。只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。么信道的全部特性就确定了。7二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 P(y|x) P(y|x) 描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系，反映了依赖关系，反映了信道的统计特性信道的统计特性。根据信道的。根据信道的统计特性统计特性

6、的的不同，离散信道又可分成不同，离散信道又可分成3 3种情况：种情况：1. 1.无干扰信道无干扰信道 2. 2.有干扰无记忆信道有干扰无记忆信道 3. 3.有干扰有记忆信道有干扰有记忆信道8 (1)(1)无干扰无干扰( (无噪声无噪声) )信道信道信道中没有随机性的干扰或者干扰很小，输出符号信道中没有随机性的干扰或者干扰很小，输出符号 y y 与输入符号与输入符号 x x 之间有确定的、一之间有确定的、一一对应的关系。即：一对应的关系。即：y f (x)9(2) 有干扰无记忆信道有干扰无记忆信道信道输入和输出之间的信道输入和输出之间的条件概率条件概率是是一般的概率分布一般的概率分布。如

7、果任一时刻输出符号只统计依赖于如果任一时刻输出符号只统计依赖于对应时刻对应时刻的输入符的输入符号，则这种信道称为号，则这种信道称为无记忆信道无记忆信道。10 (3) 有干扰有干扰(噪声噪声)有记忆信道有记忆信道实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。例如在数字信道中，由于信道滤波频率特性不理想例如在数字信道中，由于信道滤波频率特性不理想时造成了时造成了码字间串扰码字间串扰。在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输入符号有关，而且还与

8、此以前其他时刻信道的输入符号及输出符号有关，入符号及输出符号有关，这样的信道称为这样的信道称为有记忆信道。有记忆信道。11三、单符号离散信道三、单符号离散信道单符号离散信道特性：单符号离散信道特性：输入符号为输入符号为X，取值于，取值于a1,a2, ,ar输出符号为输出符号为Y，取值于，取值于b1,b2, ,bs条件概率：条件概率：P(y|x)P(y=bj|x=ai)P(bj|ai) 这一组条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移转移概率概率。信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj|ai) 来描述来描述干扰影响干扰影响

9、的大小。的大小。12 一般一般简单的单符号离散信道简单的单符号离散信道可用可用 X, P(y|x) , Y 三者加以表述，其数学模型可以用如下三者加以表述，其数学模型可以用如下概率空间概率空间 X, P(y|x) ,Y也可用图形来描述：也可用图形来描述： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)单符号离散信道单符号离散信道13信道矩阵信道矩阵（转移矩阵）（转移矩阵）模型模型一般离散单符号信道的传递概率可用矩阵形式表一般离散单符号信道的传递概率可用矩阵形式表示，即示，即矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符

11、率: p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是）表示是无错误传输无错误传输的概率。的概率。转移矩阵转移矩阵: 0 1011p a1=0 0=b11p a2=1 1=b2pp15符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊符号以外的特殊符号 0 2 101p0 01p1 1q1q2例例二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传递矩阵为：传递矩阵为：16（1）联合概率）联合概率其中其中前向概率前向概率，描述信道的，描述信道的噪声特性噪

12、声特性后向概率（后验概率）后向概率（后验概率）输入符号的输入符号的先验概率先验概率单符号离散信道的相关概率关系单符号离散信道的相关概率关系（2）输出某符号的概率）输出某符号的概率17含义：含义：输出端收到的某符号，必是输入端某一符号输入所致。输出端收到的某符号，必是输入端某一符号输入所致。（3）后验概率）后验概率且且根据贝叶斯定理，可知：根据贝叶斯定理，可知：183.2 信道疑义度与平均互信息信道疑义度与平均互信息研究研究离散单符号信道离散单符号信道的信息传输问题。的信息传输问题。一、信道疑义度一、信道疑义度先验熵：先验熵：即信道输入信源即信道输入信源X的熵的熵 H(X)是在接收到输出是在

13、接收到输出Y以前，关于输入变量以前，关于输入变量X的先的先验不确定性。验不确定性。 19后验熵后验熵：接收到接收到bj后，关于输入变量后，关于输入变量X的不确定性。的不确定性。后后验验熵熵是是当当信信道道接接收收端端接接收收到到输输出出符符号号bj后后，关关于于输输入入符符号号的的不确定性不确定性的信息测度。的信息测度。20信道疑义度：信道疑义度：后验熵在输出符号集后验熵在输出符号集Y Y范围内是随机量。对后验熵范围内是随机量。对后验熵在符号集在符号集Y Y中求中求数学期望数学期望，即，即- -信道疑义度信道疑义度：21互信息量互信息量 I(x I(x ; y); y)：收到消息收到消

14、息y y 后获得关于后获得关于x x的信息量，即消除的不确定性量。的信息量，即消除的不确定性量。互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是收信者获得的信息量。收信者获得的信息量。收信者获得的信息量。收信者获得的信息量。若互信息若互信息若互信息若互信息I( I( I( I(x x x x ; ; ; ; y y y y)0)0)0)0，说明在收到信息量，说明在收到信息量，说明在收到信息量，说明在收到信息量y y y y以前对消息以前对消息以前对

15、消息以前对消息x x x x是是是是否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得接收到消息接收到消息接收到消息接收到消息y y y y后，反而对后，反而对后，反而对后，反而对x x x x是否出现的不确定程度增加了。是否出现的不确定程度增加了。是否出现的不确定程度增加了。是否出现的不确定程度增加了。二、平均互信息二、平均互信息22u平均互信息平均互信息I(X; Y)I(X; Y)：接收到符号接收到符号 Y Y 后后, , 平均每个

16、符号平均每个符号获得的关于获得的关于 X X 的信息的信息量，体现量，体现输入输入与与输出输出两个随机变量间的两个随机变量间的统计约束程度统计约束程度。23另一角度：平均互信息另一角度：平均互信息= =通信过程所通信过程所消除的不确定性消除的不确定性： I(X;Y) I(X;Y) I(X;Y) I(X;Y)是是是是I (I (I (I (x x x x ; ; ; ; y y y y) ) ) )的的的的统计平均统计平均统计平均统计平均，可以证明，可以证明，可以证明，可以证明I(X;Y)0I(X;Y)0I(X;Y)0I(X;Y)0 。若若若若I(X;Y) I(X;Y) I(X;Y) I(X;

17、Y) = 0= 0= 0= 0，表示，表示，表示，表示在在在在信道信道信道信道输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输输输输入符号入符号入符号入符号的信息。的信息。的信息。的信息。24 I(X;Y) I(X;Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H

18、(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X) + H(Y) - H(XY) I(X;Y) = H(X) + H(Y) - H(XY) I(X;Y) = H(X) + H(Y) - H(XY) I(X;Y) = H(X) + H(Y) - H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系25u维拉图：维拉图：维拉图：维拉图：可用于各类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系 H(X|Y) = H(X) - I(X;Y) H(X|Y

19、) = H(X) - I(X;Y) H(X|Y) = H(X) - I(X;Y) H(X|Y) = H(X) - I(X;Y) 损失熵损失熵损失熵损失熵 / / / / 信道疑义度信道疑义度信道疑义度信道疑义度 H(Y|X) = H(Y) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) 噪声熵噪声熵噪声熵噪声熵 / / / / 散布度散布度散布度散布度 H(XY) = H(X)+H(Y)- I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(XY) = H(X)+H(Y

20、)- I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(X)图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机变量变量变量变量X X X X的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量表随机变量表随机变量Y Y Y Y的熵，两个的熵，两个的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息I I I I(X(X(X(X; ;Y)Y)Y)Y)。每个圆减去。每个圆减去。每个圆减去。每个圆减去I(XI(XI(XI(X; ;Y)Y)Y)Y)后剩余的部

21、分代表两个疑后剩余的部分代表两个疑后剩余的部分代表两个疑后剩余的部分代表两个疑义度。义度。义度。义度。H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)H(XY)H(XY)I(X;Y)I(X;Y)26n 两种特殊信道分析两种特殊信道分析（1 1 1 1）离散无干扰信道）离散无干扰信道）离散无干扰信道）离散无干扰信道 ( ( ( ( 无损信道无损信道无损信道无损信道 ) ) ) ) 信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道传递概率信道传递概率信道传递概率信道传

22、递概率对应某对应某对应某对应某y y y y，只有一个，只有一个，只有一个，只有一个p(x|y)!=0p(x|y)!=0p(x|y)!=0p(x|y)!=027则平均互信息则平均互信息则平均互信息则平均互信息=H(X)=H(Y)=H(X)=H(Y)=H(X)=H(Y)=H(X)=H(Y)损失熵损失熵损失熵损失熵( ( ( (信道疑义度信道疑义度信道疑义度信道疑义度)=0)=0)=0)=0噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）=0=0=0=0I(X;Y) = H(X) - H(X|Y)= H(Y) - H(Y|X)=I(X;Y) = H(X) - H(X|Y)= H(Y

24、以接收到所以接收到所以接收到Y Y Y Y后不存在对于输入后不存在对于输入后不存在对于输入后不存在对于输入X X X X的任何不确定性，即的任何不确定性，即的任何不确定性，即的任何不确定性，即信道疑义度（损失熵）信道疑义度（损失熵）信道疑义度（损失熵）信道疑义度（损失熵）等于零。等于零。等于零。等于零。同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以噪噪噪噪声熵声熵声熵声熵等于零。这时，接收到的等于零。这时，接收到的等于零。这时，接收到的等于零。这时，接收到的平均互信息量平

25、均互信息量平均互信息量平均互信息量就是输入信就是输入信就是输入信就是输入信源所提供的信息量。源所提供的信息量。源所提供的信息量。源所提供的信息量。维拉图：维拉图：维拉图：维拉图：I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)各集合完全重迭各集合完全重迭各集合完全重迭各集合完全重迭无损信道：无损信道：无损信道：无损信道：29（

26、2 2 2 2）输入输出独立信道）输入输出独立信道）输入输出独立信道）输入输出独立信道 ( ( ( ( 全损信道全损信道全损信道全损信道 ) ) ) ) 信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为全损信全损信全损信全损信道道道道。损失熵损失熵损失熵损失熵( ( ( (信道疑义度信道疑义度信道疑义度信道疑义度)=H(X)=H(X)=H(X)=H(X)：噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）=H(Y)=H(Y)=H(Y)=H(Y)：

27、30 因此在因此在因此在因此在全损信道全损信道全损信道全损信道中，接收到中，接收到中，接收到中，接收到Y Y Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端X X X X的的的的任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。同样，也不能从同样，也不能从同样，也不能从同样，也不能从X X X X中获得任何关于中获得任何关于中获得任何关于中获得任何关于Y Y Y Y的信息量。的信息量。的信息量。的信息量。平均互信息平均互信息平均互信息平均互信

29、= 0 I(X;Y) = 0各集合完全独立各集合完全独立各集合完全独立各集合完全独立全损信道：全损信道：全损信道：全损信道：H(Y)=H(Y|X)H(Y)=H(Y|X)H(X)=H(X|Y)H(X)=H(X|Y)313.3 3.3 平均互信息的性质平均互信息的性质（1 1）非负性）非负性 I(X;Y) 0, I(X;Y) 0, 当当X X、Y Y统计独立时等式成立。统计独立时等式成立。证明证明：设：设，即：即： I(X;Y) 0 I(X;Y) 0。当所有。当所有p(xy)=p(x)p(y)p(xy)=p(x)p(y)，等号成立。，等号成立。则必满足詹森不等式则必满足詹森不等式因而有如下关系因

31、Y|X) I(X;Y) = H(Y) - H(Y|X) 而而 0 0 H(X|Y) H(X|Y) H(X|Y) H(X|Y) ，0 0 0 0 H(Y|X)H(Y|X)H(Y|X)H(Y|X) 因此：因此： I(X;Y) I(X;Y) I(X;Y) I(X;Y) H(X)H(X)H(X)H(X) 且且 I(X;Y) I(X;Y) I(X;Y) I(X;Y) H(Y)H(Y)H(Y)H(Y) 即即：I(X;Y) minH(X)I(X;Y) minH(X)，H(Y)H(Y)表明：表明：表明：表明：从一事件提取另一事件的信息量，至多只有另一事件的从一事件提取另一事件的信息量，至多只有另一事件的从一

32、事件提取另一事件的信息量，至多只有另一事件的从一事件提取另一事件的信息量，至多只有另一事件的信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。当当当当H(X|Y)=0H(X|Y)=0H(X|Y)=0H(X|Y)=0时，时，时，时， I(X;Y) = H(X)I(X;Y) = H(X)I(X;Y) = H(X)I(X;Y) = H(X)，此时信道中信息无损失，此时信道中信息无损失，此时信道中信息无损失，此时信道中信息无损失，接收到接收到Y Y可获得关于可获得关于X X

33、的平均信息量。的平均信息量。H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)I(X;Y)I(X;Y)H(X)33（3 3）交互性（对称性）交互性（对称性）即即 I(X;Y) = I(Y;X)I(X;Y) = I(Y;X) 1 1）当）当 X X、Y Y统计独立时统计独立时 I(X;Y) = I(Y;X)=0 I(X;Y) = I(Y;X)=0 2 2）当信道为一一对应的无噪信道时）当信道为一一对应的无噪信道时 I(X;Y) = I(Y;X)=H(X)=H(Y) I(X;Y) = I(Y;X)=H(X)=H(Y)因：因：从从Y Y中提取中提取X X的信息量的信息量从从X X中提取中提取

34、Y Y的信息量的信息量H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)I(X;Y)I(X;Y)H(X)34（4 4）凸状性）凸状性可知，平均互信息可知，平均互信息可知，平均互信息可知，平均互信息I(X;Y)I(X;Y)I(X;Y)I(X;Y)只是信源只是信源只是信源只是信源X X X X的的的的概率分布概率分布概率分布概率分布P(P(P(P(x x x x) ) ) )和信道的和信道的和信道的和信道的传递概率传递概率传递概率传递概率P(P(P(P(y|xy|xy|xy|x) ) ) )的函数，即：的函数，即：的函数，即：的函数，即： I(X;Y) = I(X;Y) = I(X;Y) =

35、 I(X;Y) = f f P(x), P(y|x) P(x), P(y|x) P(x), P(y|x) P(x), P(y|x) 根据平均互信息表达式：根据平均互信息表达式：根据平均互信息表达式：根据平均互信息表达式：35定理定理3.13.1 平均互信息平均互信息I(X;Y)I(X;Y)是输入信源的概率是输入信源的概率分布分布P(P(x x) )的的型凸函数。型凸函数。n n（1 1 1 1）对固定信道，选择不同的信源）对固定信道，选择不同的信源）对固定信道，选择不同的信源）对固定信道，选择不同的信源( ( ( (其概率分布不其概率分布不其概率分布不其概率分布不同同同同) ) ) )与信道连

36、接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。n n（2 2 2 2）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处于某一种概率分布于某一种概率分布于某一种概率分布于某一种概率分布P(x) P(x) P(x) P(x) ，使输出端获得的平均信息，使输出端获得的平均信息，使输出端获得的平

37、均信息，使输出端获得的平均信息量为最大。量为最大。量为最大。量为最大。36例例：对于二元对称信道：对于二元对称信道 0 1-p 0 0 1-p 0 p pp p 1 1-p 1 1 1-p 1如果输入信源如果输入信源符号分布符号分布 X=w,1-w X=w,1-w，则，则 37而：而：所以：所以：当信道固定时，当信道固定时，p p不变，不变，平均互信息是信源分布的平均互信息是信源分布的型凸函数（型凸函数（w w的上凸函数）的上凸函数），最大值为，最大值为1-H(P)1-H(P)I(X;Y)w1/21-H(P)38定理定理3.23.2 平均互信息平均互信息I(X;Y)I(X;Y)是信道传递概

38、率是信道传递概率P(P(y|xy|x) )的的型凸函数。型凸函数。n当当信源确定信源确定后，选择不同信道来传输同一信源符号，后，选择不同信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。在信道输出端获得关于信源的信息量是不同的。n对每一种信源都存在一种对每一种信源都存在一种最差的信道最差的信道，此时干扰，此时干扰 ( (噪噪声声) ) 最大，而输出端获得的信息量最小。即：最大，而输出端获得的信息量最小。即：对于一个已知先验概率为对于一个已知先验概率为P(X)P(X)的离散信源，总可的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量以找到某一个转移概率分布的信道，使

39、平均交信息量达到相应的最小值达到相应的最小值I Iminmin。39例例：对于二元对称信道：对于二元对称信道如果信源分布如果信源分布X=w,1-w，则，则可得，当可得，当w固定，固定，p=1/2时，时，平均互信息最小平均互信息最小=0 0 1-p 0 pp 1 1-p 1I(X;Y)p1/2H(w)40信息传输率信息传输率信道中信道中平均每个符号平均每个符号所能传送的信息量。所能传送的信息量。而而平均互信息平均互信息I(X;Y)则反映了接收到一符号则反映了接收到一符号Y后后平均每个符号获得的关于平均每个符号获得的关于X的信息量。的信息量。因此，信息传输率可作如下定义：因此，信息传输率可

40、作如下定义：n信息传输率信息传输率 R R = I(X;Y) = H(X) H(X|Y) (比特比特/符号符号)3.4 离散信道的信道容量离散信道的信道容量n信息信息传输速率传输速率Rt ：信道在信道在单位时间单位时间内内平均传输平均传输的信息量。即信道的信息量。即信道中平均每秒传输的信息量：中平均每秒传输的信息量： Rt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （bit/s） 41一、信道容量一、信道容量由于平均互信息由于平均互信息I(X;Y)是输入随机变量的是输入随机变量的型凸型凸函数函数，所以对一固定的信道，总存在一种信源的输入，所以对一固定的信道，总存在一

41、种信源的输入分布概率，使传输分布概率，使传输每个符号平均获得的信息量最大每个符号平均获得的信息量最大。信道容量：信道容量：对任何一个固定信道，存在一个最大对任何一个固定信道，存在一个最大的信息传输率的信息传输率（比特（比特（比特（比特/ /符号）符号）符号）符号）与之相对应的输入分布概率与之相对应的输入分布概率P(X)则称为则称为最佳输入分布最佳输入分布。42(Bit/s)(Bit/s)C Ct t仍称为信道容量：仍称为信道容量：仍称为信道容量：仍称为信道容量：若平均若平均若平均若平均传输一个符号传输一个符号传输一个符号传输一个符号需要需要需要需要 t t 秒钟，则信道在单位秒钟，则信道在单

42、位秒钟，则信道在单位秒钟，则信道在单位时间内平均传输的最大信息量为时间内平均传输的最大信息量为时间内平均传输的最大信息量为时间内平均传输的最大信息量为C Ct t：性质性质性质性质信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道信道信道信道传输概率传输概率传输概率传输概率的函数，只与的函数，只与的函数，只与的函数，只与信道的统计特性信道的统计特性信道的统计特性信道的统计特性有关。有关。有关。有关。信道容量是完全描述信道特性的参量，是信道的信道容量是完全描述信道特性的参量，是信道的信道

43、容量是完全描述信道特性的参量，是信道的信道容量是完全描述信道特性的参量，是信道的最大信息传输率。最大信息传输率。最大信息传输率。最大信息传输率。43即：即：即：即：例例二元对称信道容量的计算二元对称信道容量的计算因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：前述二元对称信道，前述二元对称信道，前述二元对称信道，前述二元对称信道，I(X;Y)I(X;Y)时，时，时，时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当( (比特符号比特符号比特符号比特符号) )441. 1.无噪无损信道（无噪一一对应信道）无噪

44、无损信道（无噪一一对应信道）无噪无损信道（无噪一一对应信道）无噪无损信道（无噪一一对应信道）二、简单离散信道的信道容量二、简单离散信道的信道容量例如：例如：例如：例如：也即也即也即也即45其信道矩阵是其信道矩阵是其信道矩阵是其信道矩阵是单位矩阵单位矩阵单位矩阵单位矩阵：满足：满足：满足：满足：损失熵损失熵损失熵损失熵H(X|Y)=0H(X|Y)=0、噪声熵、噪声熵、噪声熵、噪声熵H(Y|X)=0H(Y|X)=0，故，故，故，故 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y) H(X)H(Y)H(X|Y) =H(Y|X)=0I(X;Y)=H(X)=H(Y)则信道容量：则信道容量

45、：则信道容量：则信道容量：维拉图：维拉图：维拉图：维拉图：最佳输入分布：等概率分布最佳输入分布：等概率分布最佳输入分布：等概率分布最佳输入分布：等概率分布462. 2.有噪无损信道有噪无损信道有噪无损信道有噪无损信道信道特点：信道特点：信道特点：信道特点：输入一个符号输入一个符号输入一个符号输入一个符号X X对应若干个输出符号对应若干个输出符号对应若干个输出符号对应若干个输出符号Y Y，且，且，且，且每一个每一个每一个每一个X X值所对应的值所对应的值所对应的值所对应的Y Y值不重合。值不重合。值不重合。值不重合。输入符号通过传输输入符号通过传输输入符号通过传输输入符号通过传输变换成了若干个

46、输出符号变换成了若干个输出符号变换成了若干个输出符号变换成了若干个输出符号，不不不不满足一一对应关系满足一一对应关系满足一一对应关系满足一一对应关系，但这些，但这些，但这些，但这些输出符号仍可以分成互不输出符号仍可以分成互不输出符号仍可以分成互不输出符号仍可以分成互不相交的一些子集合相交的一些子集合相交的一些子集合相交的一些子集合。例例47 一旦接收到符号一旦接收到符号一旦接收到符号一旦接收到符号Y Y后，可消除对后，可消除对后，可消除对后，可消除对X X符号的不确定性。符号的不确定性。符号的不确定性。符号的不确定性。分析一下：分析一下：分析一下：分析一下：损失熵损失熵损失熵损失熵H(X|Y)

47、H(X|Y)，噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)信道矩阵特点信道矩阵特点信道矩阵特点信道矩阵特点：除了每行元素之和为：除了每行元素之和为：除了每行元素之和为：除了每行元素之和为1 1外，每外，每外，每外，每一列一列一列一列中只有中只有中只有中只有一一一一个非零项。个非零项。个非零项。个非零项。表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是一对多关系

48、一对多关系一对多关系一对多关系。48所以所以所以所以： I(X;Y) = H(X) I(X;Y) = H(X) H(X|Y) = H(X|Y) = H(X)H(X)且且且且 I(X;Y) = H(Y) I(X;Y) = H(Y) H(Y/X) H(Y/X) H(Y) H(Y) 则则则则 I(X;Y) = H(X) H(Y)I(X;Y) = H(X) 0049H(X)=I(X;Y)H(Y)H(X/Y)=0H(Y/X) 0I(X;Y)则信道容量为：则信道容量为：则信道容量为：则信道容量为：最佳输入分布：等概率分布。最佳输入分布：等概率分布。最佳输入分布：等概率分布。最佳输入分布：等概率分布。维拉

49、图维拉图维拉图维拉图503. 3.无噪有损信道（确定信道）无噪有损信道（确定信道）信道特点：信道特点：信道特点：信道特点：输入输入输入输入X X与输出与输出与输出与输出Y Y之间为之间为之间为之间为多对一关系，多对一关系，多对一关系，多对一关系，接收到符接收到符接收到符接收到符号号号号Y Y后后后后不能完全消除不能完全消除不能完全消除不能完全消除对对对对X X的不确定性。的不确定性。的不确定性。的不确定性。前向概率前向概率前向概率前向概率 P(y | x) = 0 or 1 P(y | x) = 0 or 1 后向概率后向概率后向概率后向概率 P(x | y) 0 or 1 P(x | y)

50、 0 or 1 可计算可计算可计算可计算损失熵损失熵损失熵损失熵H(X|Y)H(X|Y)、噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)。噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）=0=0损失熵（信道疑义度）损失熵（信道疑义度）损失熵（信道疑义度）损失熵（信道疑义度）0051满足：满足：满足：满足： I(X;Y)=H(Y) H(Y/X) = H(Y) I(X;Y)=H(Y) H(Y/X) = H(Y) I(X;Y)=H(X) H(X/Y) H(X) I(X;Y)=H(X) H(X/Y) H(X)因此：因此：因此：因此： I(X;Y)=H(Y) H(X)I(X;Y)=H

51、(Y) 0H(Y/X) =0I(X;Y)维拉图维拉图维拉图维拉图52三类信道特点：三类信道特点：三类信道特点：三类信道特点：无噪无损信道无噪无损信道无噪无损信道无噪无损信道：损失熵、损失熵皆为：损失熵、损失熵皆为：损失熵、损失熵皆为：损失熵、损失熵皆为0 0 0 0；无损信道无损信道无损信道无损信道：损失熵：损失熵：损失熵：损失熵H(X|Y)H(X|Y)为为为为0 0，噪声熵不为，噪声熵不为，噪声熵不为，噪声熵不为0 0；无噪信道无噪信道无噪信道无噪信道: : 噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)为为为为0 0，损失熵不为，损失熵不为，损失熵不为，损失熵不为0 0；这三类信

52、道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的极限问题退化为求信息熵的极值问题。极限问题退化为求信息熵的极值问题。极限问题退化为求信息熵的极值问题。极限问题退化为求信息熵的极值问题。53信道特点：信道特点：信道特点：信道特点：信道矩阵信道矩阵信道矩阵信道矩阵P P中中中中每一行每一行每一行每一行都是由同一集合都是由同一集合都是由同一集合都是由同一集合pp1 1 ，p p2 2 ，p ps s 中的诸元素不同排列组成；中的诸元素不同排列组成；中的诸元素不同排列组成；中的诸元

53、素不同排列组成；信道矩阵信道矩阵信道矩阵信道矩阵P P每一列每一列每一列每一列也都是由同一集也都是由同一集也都是由同一集也都是由同一集合合合合 q q1 1 ，q q2 2 ，q qr r 中的诸元素不同排列组成。中的诸元素不同排列组成。中的诸元素不同排列组成。中的诸元素不同排列组成。一般一般一般一般srsr。当当当当r=sr=s，两个集合相同；，两个集合相同；，两个集合相同；，两个集合相同；若若若若rsrs，则，则，则，则qqi i 是是是是 pipi的子集的子集的子集的子集。三、对称离散信道的信道容量三、对称离散信道的信道容量例：例：例：例：对称离散信道对称离散信道对称离散信道对称离

54、散信道54非对称离散信道非对称离散信道非对称离散信道非对称离散信道强对称信道（均匀信道）：强对称信道（均匀信道）：强对称信道（均匀信道）：强对称信道（均匀信道）：若输入若输入若输入若输入/ /输出输出输出输出符号个数相同符号个数相同符号个数相同符号个数相同，都，都，都，都等于等于等于等于r r，且信道矩阵为，且信道矩阵为，且信道矩阵为，且信道矩阵为特点：特点：特点：特点：总的错误概率为总的错误概率为总的错误概率为总的错误概率为 p p ，对称地平均分配给对称地平均分配给对称地平均分配给对称地平均分配给r-1r-1个输出符号。它是个输出符号。它是个输出符号。它是个输出符号。它是对称离散信道的对称

55、离散信道的对称离散信道的对称离散信道的特例特例特例特例。55该项是固定该项是固定该项是固定该项是固定X X X Xx x x x 时对时对时对时对Y Y Y Y求和，即对求和，即对求和，即对求和，即对信道矩阵信道矩阵信道矩阵信道矩阵的的的的行求熵行求熵行求熵行求熵。由由由由于是对称信道，于是对称信道，于是对称信道，于是对称信道，所以所以所以所以H(Y/X= H(Y/X= H(Y/X= H(Y/X= x x x x ) ) ) )与与与与 x x x x 无关无关无关无关，为一，为一，为一，为一常数。常数。常数。常数。则则则则考察考察考察考察：对称离散信道的对称离散信道的对称离散信道的对称离散信

56、道的平均互信息平均互信息平均互信息平均互信息 I(X;Y)=H(Y)-H(Y/X) I(X;Y)=H(Y)-H(Y/X) I(X;Y)=H(Y)-H(Y/X) I(X;Y)=H(Y)-H(Y/X)其中其中其中其中56因此因此因此因此对称离散信道对称离散信道对称离散信道对称离散信道的的的的信道容量信道容量信道容量信道容量应为：应为：应为：应为：可以看出，这是在某种可以看出，这是在某种P(x)分布情况下，使得分布情况下，使得输出等输出等概分布概分布时，即时，即 H(Y)=logs 时的信道容量。时的信道容量。在什么样的在什么样的信源输入信源输入情况下，信道输出等概分布呢？情况下，信道输出等概分

57、布呢？可以证明，输入等概分布时，输出也等概分布可以证明，输入等概分布时，输出也等概分布：若输入概率为等概率若输入概率为等概率p(x)=1/r，则，则57 因是因是因是因是对称离散信道对称离散信道对称离散信道对称离散信道，信道矩阵的，信道矩阵的，信道矩阵的，信道矩阵的每每每每一一一一列元素之和相等列元素之和相等列元素之和相等列元素之和相等：则有则有也就是：信道的输出也是等概分布的：也就是：信道的输出也是等概分布的：58注意：注意：信道容量本身与输入无关；但只有当满足输入的等信道容量本身与输入无关；但只有当满足输入的等概分布时，概分布时，信息传输率信息传输率才能达到信道容量。才能达到信道容量。

58、那么对称离散信道的信道容量：那么对称离散信道的信道容量：59 在这个信道中，每个符号平均能够传输的最大信息为在这个信道中，每个符号平均能够传输的最大信息为在这个信道中，每个符号平均能够传输的最大信息为在这个信道中，每个符号平均能够传输的最大信息为0.08170.0817比特。比特。比特。比特。例例例例某对称离散信道的信道矩阵如下，求其信道容量。某对称离散信道的信道矩阵如下，求其信道容量。某对称离散信道的信道矩阵如下，求其信道容量。某对称离散信道的信道矩阵如下，求其信道容量。解：解：解：解：s=4, r=2s=4, r=260特例特例：对于：对于二元对称信道二元对称信道这个式子很重要。这个式

59、子很重要。特例特例：对于：对于强对称信道强对称信道，其信道容量为：，其信道容量为：61 若信道矩阵按若信道矩阵按列列可以划分成若干个互不相交的子集可以划分成若干个互不相交的子集Bk ，每一个，每一个子集子集都是都是对称信道矩阵对称信道矩阵，即，即 B1B2 Bn= ； B1B2Bn= P由由Bk为为列列组成的组成的矩阵矩阵Qk是是对称矩阵对称矩阵，则称该信道为，则称该信道为准对称准对称信道信道。如：。如：按按列列可划分为几个可划分为几个对称信道对称信道矩阵：矩阵：*(选讲选讲)四、准对称离散信道的信道容量四、准对称离散信道的信道容量62 可以证明，达到信道容量的可以证明，达到信道容量的最佳输入

60、分布最佳输入分布是是等概分布等概分布，准对称信道的信道容量为：准对称信道的信道容量为：设设 r是输入符号集的个数，是输入符号集的个数，为准对称信道矩为准对称信道矩阵中的阵中的行元素（各行元素集合相同）行元素（各行元素集合相同）；设信道矩阵可划分；设信道矩阵可划分为为n个互不相交的子集（分别为个互不相交的子集（分别为对称信道矩阵对称信道矩阵）。）。是第是第k个子矩阵个子矩阵中行元素之和，中行元素之和，是该矩阵中列是该矩阵中列元素之和：元素之和：第第k k个矩阵的个矩阵的列元素之和列元素之和（各列之和相同）（各列之和相同）第第k个矩阵中的个矩阵中的行元素之和行元素之和（各行之和相同）（各

61、行之和相同）63例例不是对称信道矩阵，但可分成两个互不相交的子集（对不是对称信道矩阵，但可分成两个互不相交的子集（对称信道矩阵）：称信道矩阵）：64*问题分析问题分析* 由由信道容量信道容量定义，其值是在固定信道条件下，对所有定义，其值是在固定信道条件下，对所有可能的输入概率分布可能的输入概率分布p(x)求解求解平均互信息平均互信息I(X;Y)的的极大值极大值。由于平均互信息由于平均互信息 I(X;Y) 是是P(x)的的型凸函数，所以型凸函数，所以极大极大值一定存在。值一定存在。 I(X;Y) 是是r个变量个变量P(a1),P(a2),P(ar)的多元函数，并的多元函数，并满足：满足： P(

62、ai)1。实质上为有约束条件下的实质上为有约束条件下的多元函数条件极值多元函数条件极值问题。问题。五、一般离散信道的信道容量五、一般离散信道的信道容量n可应用可应用拉格朗日乘数法拉格朗日乘数法计算该计算该条件极值条件极值。65 引入一个函数引入一个函数可求出达到极值的可求出达到极值的可求出达到极值的可求出达到极值的输入概率分布输入概率分布输入概率分布输入概率分布和和和和拉格朗日乘拉格朗日乘拉格朗日乘拉格朗日乘子子子子的的的的值，然后再求解出值，然后再求解出值，然后再求解出值，然后再求解出信道容量信道容量信道容量信道容量C C。为为拉格朗日乘子拉格朗日乘子，为待定常数。解方程组：，为待定

63、常数。解方程组：66其中其中而而解拉格朗日方程组中的方程式解拉格朗日方程组中的方程式67由由K=i时，偏导时，偏导=1，其他，偏导其他，偏导=0分分部部求求偏偏导导68则方程组可变为：则方程组可变为：又因为又因为则由：则由：交换求和次序，交换求和次序，结果结果=169 假设使得假设使得平均互信息达到极值平均互信息达到极值的输入概率为的输入概率为p1,p2,pr，把上述方程组中前，把上述方程组中前r个方程两边个方程两边分别乘以达到分别乘以达到极值的输入概率极值的输入概率Pi，然后然后求和求和得得则上式左边即是则上式左边即是信道容量信道容量：则此时，上一页的方程组变为则此时，上一页的方程组变为7

64、0移项后，得移项后，得这是含有这是含有s个未知数个未知数j、r个方程的个方程的非齐次线性方程组非齐次线性方程组。如果如果r=s，且信道矩阵且信道矩阵P是非奇异矩阵，是非奇异矩阵，则此方程组有解，则此方程组有解，并且可求出并且可求出j，进而求出信道容量：进而求出信道容量：71由这个由这个C值，就可以分别解得对应的值，就可以分别解得对应的输出概率分布输出概率分布：再根据方程组求出输入分布再根据方程组求出输入分布pi 可解得达到信道容量的可解得达到信道容量的最佳输入分布最佳输入分布p1,p2,pr。72信道容量计算步骤信道容量计算步骤信道容量计算步骤信道容量计算步骤当信道矩阵当信道矩阵当信道

65、矩阵当信道矩阵P P是非奇异矩阵，信道容量计算过程：是非奇异矩阵，信道容量计算过程：是非奇异矩阵，信道容量计算过程：是非奇异矩阵，信道容量计算过程：1 1）计算）计算）计算）计算j2 2）计算信道容量）计算信道容量）计算信道容量）计算信道容量C C 3 3）计算输出分布概率）计算输出分布概率）计算输出分布概率）计算输出分布概率P(bP(bj j) )4 4）计算输入分布概率）计算输入分布概率）计算输入分布概率）计算输入分布概率P(P(a ai) i)73例例离散无记忆信道离散无记忆信道a1a2a3a4b1b2b3b41/21/41/4111/41/41/4不是对称信道。不是对称信道。r=s=

66、4,信道矩阵非奇异。利用：信道矩阵非奇异。利用：74则有则有计算信道容量计算信道容量计算输出概率分布计算输出概率分布可得可得75计算最佳输入分布计算最佳输入分布根据方程组求解输入分布根据方程组求解输入分布可得：可得：763.6 离散无记忆信道的扩展信道离散无记忆信道的扩展信道对于离散无记忆信道对于离散无记忆信道对于离散无记忆信道对于离散无记忆信道 ( DMC ( DMC，Discrete Memoryless Discrete Memoryless Channel) Channel) ，其，其，其，其传递概率满足传递概率满足传递概率满足传递概率满足：可用可用可用可用 X X，P( P( y

67、y / / x x ) )，Y Y 概率空间来描述。概率空间来描述。概率空间来描述。概率空间来描述。设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的输入符号集输入符号集输入符号集输入符号集A Aaa1 1，， a ar r ，输出符号集输出符号集输出符号集输出符号集B Bbb1 1 ，， b bs s ，信道矩阵为，信道矩阵为，信道矩阵为，信道矩阵为: :77则此无记忆信道的则此无记忆信道的则此无记忆信道的则此无记忆信道的N N次扩展信道次扩展信道次扩展信道次扩展信道的数学模型如图所示的数学模型如图所示的数学模型如图所示的数学模型如图所示: :而而而而信道矩阵信道矩

68、阵信道矩阵信道矩阵：其中：其中：其中：其中：78 例例例例求二元无记忆对称求二元无记忆对称求二元无记忆对称求二元无记忆对称信信信信道道道道（BSCBSC）的二次扩展信道。的二次扩展信道。的二次扩展信道。的二次扩展信道。解：解：解：解：BSCBSC的输入和输出变量的输入和输出变量的输入和输出变量的输入和输出变量X X和和和和Y Y的取值都是的取值都是的取值都是的取值都是0 0或或或或1 1，因此，因此，因此，因此，二二二二次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为A A 0000，0101，1010，1111 ，共有共有共有共有2 22 2

69、4 4个符号个符号个符号个符号，输出符号集为输出符号集为输出符号集为输出符号集为B B 0000，0101，1010，1111 。由于是由于是由于是由于是无记忆信道无记忆信道无记忆信道无记忆信道，可，可，可，可求得求得求得求得二次扩展信道的传递概率二次扩展信道的传递概率二次扩展信道的传递概率二次扩展信道的传递概率：信道矩阵信道矩阵信道矩阵信道矩阵：79考察考察考察考察：无记忆信道的无记忆信道的无记忆信道的无记忆信道的N N次扩展信道的次扩展信道的次扩展信道的次扩展信道的平均互信息平均互信息平均互信息平均互信息80定理定理定理定理3.53.5：对于一般离散信道，若信道的输入随机序列为：对于一般离

70、散信道，若信道的输入随机序列为：对于一般离散信道，若信道的输入随机序列为：对于一般离散信道，若信道的输入随机序列为X= X= (X(X1 1X X2 2XXN N) )，通过信道传输，接收到的随机序列为，通过信道传输，接收到的随机序列为，通过信道传输，接收到的随机序列为，通过信道传输，接收到的随机序列为Y Y(Y(Y1 1Y Y2 2YYN N) )。其中，。其中，。其中，。其中，Xi Xi ，YiYi是对应第是对应第是对应第是对应第 i i 时刻的随机变量。时刻的随机变量。时刻的随机变量。时刻的随机变量。1 1）假若）假若）假若）假若信道是无记忆信道是无记忆信道是无记忆信道是无记忆的，即信道

71、传递概率满足：的，即信道传递概率满足：的，即信道传递概率满足：的，即信道传递概率满足：2 2）假若输入）假若输入）假若输入）假若输入信源是无记忆信源是无记忆信源是无记忆信源是无记忆的，即满足的，即满足的，即满足的，即满足3 3）若）若）若）若信道和信源都是无记忆信道和信源都是无记忆信道和信源都是无记忆信道和信源都是无记忆的，则：的，则：的，则：的，则：81n无记忆无记忆无记忆无记忆N N次扩展信道的平均互信息次扩展信道的平均互信息次扩展信道的平均互信息次扩展信道的平均互信息 1 1）信道的输入序列）信道的输入序列）信道的输入序列）信道的输入序列 X= (X X= (X1 1X X2 2XXN

72、N) )中的随机变量中的随机变量中的随机变量中的随机变量 X Xi i 取自于取自于取自于取自于同同同同一信源符号集一信源符号集一信源符号集一信源符号集，并且具有，并且具有，并且具有，并且具有同一种概率分布同一种概率分布同一种概率分布同一种概率分布; ; 2 2）通过）通过）通过）通过相同的信道传输相同的信道传输相同的信道传输相同的信道传输到输出端（信道传递概率不随到输出端（信道传递概率不随到输出端（信道传递概率不随到输出端（信道传递概率不随 i i 改变）改变）改变）改变）随机向量随机向量随机向量随机向量Y= (YY= (Y1 1Y Y2 2YYN N) )中随机变量中随机变量中随机变量中随

73、机变量Y Yi i也取自同一符号集，则也取自同一符号集，则也取自同一符号集，则也取自同一符号集，则由定理由定理由定理由定理3.53.5，无记忆信道的，无记忆信道的，无记忆信道的，无记忆信道的N N次扩展信道次扩展信道次扩展信道次扩展信道若信源也是无记忆的，则：若信源也是无记忆的，则：若信源也是无记忆的，则：若信源也是无记忆的，则：说明说明说明说明：信源无记忆时，无记忆的：信源无记忆时，无记忆的：信源无记忆时，无记忆的：信源无记忆时，无记忆的N N次扩展信道的平均互信息等于次扩展信道的平均互信息等于次扩展信道的平均互信息等于次扩展信道的平均互信息等于原信道的平均互信息的原信道的平均互信息的原信道

74、的平均互信息的原信道的平均互信息的N N倍倍倍倍。82n无记忆无记忆无记忆无记忆N N次扩展信道的信道容量次扩展信道的信道容量次扩展信道的信道容量次扩展信道的信道容量一般的离散无记忆信道的一般的离散无记忆信道的一般的离散无记忆信道的一般的离散无记忆信道的N N次扩展信道的次扩展信道的次扩展信道的次扩展信道的信道容量信道容量信道容量信道容量是是是是某时刻某时刻 i 通过通过DMC传输的最大信息量传输的最大信息量信道的输入随机序列信道的输入随机序列信道的输入随机序列信道的输入随机序列X= (X1X2XN)X= (X1X2XN)在同一在同一在同一在同一信道中传输，故信道中传输，故信道中传输，故信道

75、中传输，故Ci=CCi=C 一般情况下一般情况下一般情况下一般情况下，消息序列在离散无记忆的，消息序列在离散无记忆的，消息序列在离散无记忆的，消息序列在离散无记忆的N N次扩展信道中传输次扩展信道中传输次扩展信道中传输次扩展信道中传输的信息量：的信息量：的信息量：的信息量： I I（X;YX;Y） NCNC 信道容量在信源是信道容量在信源是无记忆信源无记忆信源且每一个输入变量且每一个输入变量Xi达到达到最最佳分布佳分布时达到。时达到。83（选讲）（选讲）3.7 独立并联信道及其信道容量独立并联信道及其信道容量n独立并联信道（并用信道）独立并联信道（并用信道）：设有设有N个独立信道，其输入分别

76、为个独立信道，其输入分别为 X1,X2,XN;输出分别为输出分别为 Y1,Y2,YN; 传递概率分别是传递概率分别是各信道之间独立各信道之间独立，即每一个信道，即每一个信道的输出的输出Yi只与本信道输入只与本信道输入Xi有关，与有关，与其他信道的输入和输出都无关。则这其他信道的输入和输出都无关。则这N个信道的个信道的联合传递概率联合传递概率满足：满足：相当于单个无记忆信道应满足的条件。相当于单个无记忆信道应满足的条件。信道信道1X1Y1P(y1|x1)信道信道NXNYNP(yN|xN)84n联合平均互信息联合平均互信息把把定理定理3.5中（无记忆信道情况）的中（无记忆信道情况）的结论结论推

77、广到推广到N个独立个独立并联信道：并联信道：即：即：联合平均互信息联合平均互信息不大于不大于各信道的平均互信息之和。各信道的平均互信息之和。因此，独立并联信道的因此，独立并联信道的信道容量信道容量满足：满足：当当各不同信道的输入符号各不同信道的输入符号 Xi Xi 之间相互独立之间相互独立，且，且各信道的输入符号各信道的输入符号概率分布概率分布为各个信道的为各个信道的最佳输入分布最佳输入分布时，独立并联信道的信道容时，独立并联信道的信道容量等于各信道容量之和，即：量等于各信道容量之和，即：853.8 串联信道的互信息与数据处理定理串联信道的互信息与数据处理定理n 串联信道串联信道在一些实

78、际的通信系统中常常出现多个单独信道串联在在一些实际的通信系统中常常出现多个单独信道串联在一起的情况。一起的情况。如：如：微波中继接力通信、互联网通信等等。微波中继接力通信、互联网通信等等。n 数据处理系统数据处理系统通信系统中，常需在信道的通信系统中，常需在信道的输出端输出端对接收到的信号或数对接收到的信号或数据进行适当的处理（如滤波、编码、压缩等）。据进行适当的处理（如滤波、编码、压缩等）。数据处理可数据处理可看成一种信道看成一种信道，它与前一级信道串接在一起，它与前一级信道串接在一起，构成构成串联信道串联信道。如：如：卫星通信系统中地面站将接受的卫星数据脉冲信号卫星通信系统中地面站

79、将接受的卫星数据脉冲信号进行滤波、量化判决处理后输出，构成一种串联信道。进行滤波、量化判决处理后输出，构成一种串联信道。86n 串联信道的数学模型串联信道的数学模型设有一离散单符号设有一离散单符号信道信道，其输入变量为，其输入变量为X，取值范围，取值范围是是a1,a2,ar；输出变量输出变量Y，取值，取值b1,b2,bs；且；且信道的信道的传递概率是传递概率是设另有一离散单符号设另有一离散单符号信道信道，其输入变量为，其输入变量为Y，输出变量输出变量Z，取值，取值C1,C2,Ct。将两个信道将两个信道串联起来串联起来，并设两信道的输入符号集都是，并设两信道的输入符号集都是完备集。信道

80、完备集。信道的传递概率一般与前面的符号的传递概率一般与前面的符号X、Y都有关，都有关，可记为可记为信道信道1XYP(y|x)信道信道NZP(z|xy)87n特例特例：构成马尔可夫链构成马尔可夫链的的串联信道串联信道在两信道的串联信道中，若信道在两信道的串联信道中，若信道的传递概率使其输出的传递概率使其输出Z只与输入只与输入Y有关，与前一级输入有关，与前一级输入X无关，即满足无关，即满足则称两信道的输入和输出则称两信道的输入和输出X、Y、Z序列序列构成构成马尔可夫链马尔可夫链。n 串联信道的传递概率串联信道的传递概率两个串联信道可等价成一个两个串联信道可等价成一个总离散信道总离散信道，传

81、递概率为：，传递概率为：总信道总信道XP(z|x)Z88定理定理3.6 对于串接信道对于串接信道X、Y、Z，平均互信息满足，平均互信息满足当且仅当当且仅当P(z|xy)=P(z|y)时，等式成立。时，等式成立。则总信道的则总信道的传递矩阵传递矩阵为为如果如果X、Y、Z满足满足马尔可夫链马尔可夫链，则传递矩阵是，则传递矩阵是其中：其中：I（XY；Z）为联合变量为联合变量XY与变量与变量Z之间的平均互信息，也即之间的平均互信息，也即接收到接收到Z之后获得的关于联合变量之后获得的关于联合变量XY的信息量。的信息量。89证明：证明：而而则则应用应用詹森不等式詹森不等式，得，得90因此因此并且，只有当并

82、且，只有当P(z|xy)=P(z|y)时，等式成立：时，等式成立：同理同理，也可得：，也可得：并且，只有当并且，只有当P(z|xy)=P(z|x)时，等式成立。定理得证。时，等式成立。定理得证。等号成立条件等号成立条件：定理中等号成立要求随机变量定理中等号成立要求随机变量Z只依赖于只依赖于Y，与前一级，与前一级的变量的变量X无直接关系。即无直接关系。即X、Y、Z间构成间构成马尔可夫链马尔可夫链。很多实际的串联信道中，随机变量很多实际的串联信道中，随机变量Z往往只依赖于往往只依赖于Y，而与变量而与变量X无关，则串联信道的输入输出变量之间构成无关，则串联信道的输入输出变量之间构成马尔马尔可夫链

83、可夫链。91定理定理3.7 （数据处理定理）（数据处理定理）若若X、Y、Z构成构成马尔可夫链马尔可夫链，则，则平均互信息满足平均互信息满足证明：证明：1）因为因为X、Y、Z是马尔可夫链，故是马尔可夫链，故 P(z|xy)=P(z|y)，则定理，则定理3.6 的等式成立：的等式成立：又因又因其中等式成立的条件是其中等式成立的条件是 P(z|xy)=P(z|x) 。接收一个接收一个Y符号后获得的符号后获得的X的信息量大于等于接收一的信息量大于等于接收一个个Z符号后获得的符号后获得的X的信息的信息量。信息有丢失。量。信息有丢失。等号成立条件等号成立条件922）因为因为X、Y、Z是马尔可夫链，从相反方

85、X的的损失熵大于等于损失熵大于等于每每接收一个接收一个Y符号后对符号后对X的的损失熵损失熵，说明，说明信息有所损失信息有所损失。又又（损失熵）（损失熵）同样，由关系式同样，由关系式可知：通过串联信道的多级传输，每传输一个符号所提供的可知：通过串联信道的多级传输，每传输一个符号所提供的信息量逐渐减少；串联级数越多，只会丢失更多的信息。信息量逐渐减少；串联级数越多，只会丢失更多的信息。94 如果满足：如果满足：即串联信道的即串联信道的总传递概率总传递概率等于等于第一级的传递概率第一级的传递概率，则通过串，则通过串联信道传输，不会增加信息的不确定性（信息损失），则根联信道传输，不会增加信息的不确定

86、性（信息损失），则根据平均互信息定义有：据平均互信息定义有：特殊情况特殊情况：对于第二级信道是：对于第二级信道是无噪一一对应信道无噪一一对应信道，这个条件是完，这个条件是完全满足的。因为其信道矩阵为单位阵，使总信道的转移概率等于全满足的。因为其信道矩阵为单位阵，使总信道的转移概率等于第一级信道的转移概率。第一级信道的转移概率。另外可知：另外可知：如果第二个信道是如果第二个信道是数据处理系统数据处理系统，则经过数据处理后，则经过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息更多。原来获得的信息更多。（损失

87、熵相等）（损失熵相等）（平均互信息相等）（平均互信息相等）95由以上分析，有：由以上分析，有：n数据处理定理数据处理定理的另一表述的另一表述系统对接收到数据系统对接收到数据Y进行处理后，无论变量进行处理后，无论变量Z与与Y之间之间的关系是确定函数关系还是概率关系，绝不会减少的关系是确定函数关系还是概率关系，绝不会减少X的不的不确定性（丢失信息）。确定性（丢失信息）。若要使数据处理后获得的关于若要使数据处理后获得的关于X的平均信息保持不变，的平均信息保持不变，必须满足关系：必须满足关系：96例例两个信道串联，并设其满足马尔可夫链，信道矩阵分别两个信道串联，并设其满足马尔可夫链，信道矩阵分别

88、为为a1a2b1b2b3C3C2C112/31/31/32/31/31/31/31/21/2XYZ串联方式为串联方式为97则显然可得则显然可得分析：分析：按马尔可夫链特点按马尔可夫链特点各矩阵元素：各矩阵元素：说明：此有噪声的串联信道不会增加信息的损失。说明：此有噪声的串联信道不会增加信息的损失。刚好为第一级信道矩阵刚好为第一级信道矩阵98数据处理定理的多级串联信道推广数据处理定理的多级串联信道推广对于一系列不涉及信源的数据处理，即对于一系列串对于一系列不涉及信源的数据处理，即对于一系列串接信道，有：接信道，有：信道信道1XY信道信道2Z信道信道3W即有：即有：n信息不增性原理信息不增性原

89、理在任何信息传输系统中，最后获得的信息至多是信源提在任何信息传输系统中，最后获得的信息至多是信源提供的信息量。供的信息量。如果一旦在某一个过程中丢失一些信息，后续的系统无如果一旦在某一个过程中丢失一些信息，后续的系统无论怎样处理，如果不涉及丢失信息过程的输入环节，则再不论怎样处理，如果不涉及丢失信息过程的输入环节，则再不能恢复已丢失的信息。能恢复已丢失的信息。99n多级串联信道的信道容量多级串联信道的信道容量显然，串联的无源数据处理环节数显然，串联的无源数据处理环节数m越多，其信道容量越多，其信道容量（最大信息传输率）可能会越小，当串联信道级数无穷大时，（最大信息传输率）可能会越小，当串

90、联信道级数无穷大时，信道容量就趋于信道容量就趋于0。信道信道1XY信道信道2Z信道信道3W100例例信道容量分析：设两个离散二元对称信道，其串联信道信道容量分析：设两个离散二元对称信道，其串联信道如图。并设第一级信道的信源的概率空间为：如图。并设第一级信道的信源的概率空间为：分析：分析：按马尔可夫链分析按马尔可夫链分析 0 1-p 0 pp 1 1-p 1二元对二元对称信道称信道XY二元对二元对称信道称信道Z总信道矩阵为总信道矩阵为仍为二元对称信道仍为二元对称信道101根据平均互信息定义，可得根据平均互信息定义，可得可在串联级数可在串联级数m=1,2,取不同的情况下计算平均互信息。显然，取不

91、同的情况下计算平均互信息。显然，还可证明，还可证明，信道容量信道容量为：为：当串联级数为当串联级数为m时：时：102n通信系统的数据处理定理通信系统的数据处理定理一般通信系统模型如下图所示一般通信系统模型如下图所示信源信源S(S1S2SN)Y (Y1Y2YN)编码编码X(X1X2XN)译码译码信信道道信宿信宿Z (Z1Z2ZN)把随机序列（把随机序列（S,X,Y,Z）视为）视为随机矢量序列随机矢量序列，它们构成一个，它们构成一个马尔可夫链：马尔可夫链：103 根据数据处理定理，对于符合马尔可夫链的通信系统模根据数据处理定理，对于符合马尔可夫链的通信系统模型满足如下关系：型满足如下关系：经过编

92、码、译码处理经过编码、译码处理信源信源S(S1S2SN)Y (Y1Y2YN)编码编码X(X1X2XN)译码译码信信道道信宿信宿Z (Z1Z2ZN)104物理含义物理含义：信息处理（如编码、译码等）只能丢失信息，不能增加信息处理（如编码、译码等）只能丢失信息，不能增加或创造信息。若进行一一对应的变换处理，则上述等号成立，或创造信息。若进行一一对应的变换处理，则上述等号成立，不会丢失信息。不会丢失信息。噪声信道的输出矢量噪声信道的输出矢量Y包含的信源包含的信源S的平均信息量，的平均信息量，大于大于数据处理后所估算的矢量数据处理后所估算的矢量Z中所包含的信源中所包含的信源S的平均信息量。的平均信

93、息量。然而，实际应用中往往为了获得更有用的、有效的信息，然而，实际应用中往往为了获得更有用的、有效的信息，需要进行适当的数据处理（滤波、压缩等）。需要进行适当的数据处理（滤波、压缩等）。信源信源S(S1S2SN)Y (Y1Y2YN)编码编码X(X1X2XN)译码译码信信道道信宿信宿Z (Z1Z2ZN)1053.9 信源与信道的匹配信源与信道的匹配在一般情况下，当信源与信道相连接时，其信息传在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。若使输率并未达到最大。若使信息传输率信息传输率能达到或尽可能接能达到或尽可能接近于信道容量，只有在信源取近于信道容量，只有在信源取最佳分布最佳

94、分布时才能实现。时才能实现。 “匹配匹配” 当信道确定后，信道的实际当信道确定后，信道的实际信息传输率信息传输率与信源分布是与信源分布是密切相关的。当达到密切相关的。当达到信道容量信道容量时，称时，称信源与信道达到信源与信道达到匹配匹配，否则认为，否则认为信道有剩余信道有剩余。 106信道剩余度信道剩余度信道剩余度信道剩余度相对信道剩余度相对信道剩余度相对信道剩余度相对信道剩余度信道的实际信息传输率和信道传输能力之差。信道的实际信息传输率和信道传输能力之差。信道的实际信息传输率和信道传输能力之差。信道的实际信息传输率和信道传输能力之差。可以用来衡量信道利用率的高低。可以用来衡量信道利用率的

95、高低。可以用来衡量信道利用率的高低。可以用来衡量信道利用率的高低。特例特例特例特例在在在在无损无损无损无损信信信信道道道道中，中，中，中，信信信信道容量道容量道容量道容量 C C C Cloglogloglogr r r r (r (r (r (r是信道输入符号数是信道输入符号数是信道输入符号数是信道输入符号数) ) ) )。而。而。而。而I I I I( ( ( (X;YX;YX;YX;Y) ) ) )H(XH(XH(XH(X) ) ) )，因而，因而，因而，因而：信信信信道道道道的相对剩余度的相对剩余度的相对剩余度的相对剩余度 = = = = = = = = 信源的剩余度信源的剩余度

96、信源的剩余度信源的剩余度107意意义义提高提高无损信道无损信道的的信息传输率，信息传输率，就等于就等于减少信源的剩余减少信源的剩余度。度。对于无损信道，可通过对于无损信道，可通过信源编码，信源编码，减少信源剩余度，减少信源剩余度，使信息传输率达到信道容量。使信息传输率达到信道容量。因此在通信系统中，应将信源发出的符号转换成适合信因此在通信系统中，应将信源发出的符号转换成适合信道传输的符号，从而使信源与信道匹配。道传输的符号，从而使信源与信道匹配。例例某离散无记忆信源某离散无记忆信源通过一个无噪无损二元离散信道进行传输。通过一个无噪无损二元离散信道进行传输。108分析：分析：此此二元信

97、道的信道容量二元信道的信道容量为：为： C1 (比特信道符号比特信道符号) 信源的信息熵为信源的信息熵为 H(X)1.937 (比特信源符号比特信源符号)要使多符号信源在此二元信道传输，须对要使多符号信源在此二元信道传输，须对X进行二元编码：进行二元编码：对于码对于码(比特信道符号比特信道符号)对于码对于码(比特信道符号比特信道符号) 信道有剩余。因此，必须通过合适的信源编码，使信道信道有剩余。因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。的信息传输率接近或等于信道容量。109无失真信源编码无失真信源编码一般通信系统中，把信源发出的符号变成能在信道一般通信系统中，把信源

98、发出的符号变成能在信道中传输的符号，在传输时，要能够中传输的符号，在传输时，要能够尽量用较少的符号表尽量用较少的符号表示相同的信息示相同的信息，这样就可以提高信息的传输率，从而提，这样就可以提高信息的传输率，从而提高信道的高信道的利用率利用率。这就是香农这就是香农无失真信源编码无失真信源编码（无失真数据压缩）。（无失真数据压缩）。它将信源输出的消息变换成适合信道传输的它将信源输出的消息变换成适合信道传输的新信源消息新信源消息，而使而使新信源的符号接近等概率分布，新信源的熵接近最新信源的符号接近等概率分布，新信源的熵接近最大熵大熵。这样，信源传输的信息量达到最大，信道剩余度。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。接近于零，信源与信道达到匹配。110作业作业n3-3n3-10n3-24n3-25111

展开阅读全文

信息论基础理论与应用第三版傅祖芸第三章PPT课件

最新文档