信息论-基础知识与应用第三章

《信息论-基础知识与应用第三章》由会员分享，可在线阅读，更多相关《信息论-基础知识与应用第三章（107页珍藏版）》请在金锄头文库上搜索。

1、1第三章 离散信道及其信道容量 第一节 信道的数学模型及分类第二节 平均互信息第三节 平均互信息的特性第四节 信道容量及其一般计算方法第五节 离散无记忆扩展信道及其信道容量第六节 独立并联信道及其信道容量第七节 串联信道的互信息和数据处理定理第八节 信源与信道的匹配2o 信道的功能：以信号形式传输和存储信息。 o 信道传输信息的速率：与物理信道本身的特性 、载荷信息的信号形式和信源输出信号的统计 特性有关。 o 信道容量研究内容：在什么条件下，通过信道 的信息量最大。31、 信道的分类 根据输入输出随机信号的特点分类 根据输入输出随机变量个数的多少分类 根据输入输出个数分类 根据信道上有无干扰

2、分类 根据信道有无记忆特性分类第一节 信道的数学模型及分类4 根据输入输出随机信号的特点分类o 离散信道：输入、输出随机变量都取离 散值。 o 连续信道：输入、输出随机变量都取连 续值。 o 半离散/半连续信道：输入变量取离散值 而输出变量取连续值，或反之。5 根据输入输出随机变量个数的多少分类o 单符号信道：输入和输出端都只用一个随机变 量来表示。 o 多符号信道：输入和输出端用随机变量序列/随 机矢量来表示。6 根据输入输出个数分类o 单用户信道：只有一个输入和一个输出的 信道。 o 多用户信道：有多个输入和多个输出的信 道。7 根据信道上有无干扰分类o 有干扰信道：存在干扰或噪声或两者都

3、有 的信道。实际信道一般都是有干扰信道。o 无干扰信道：不存在干扰或噪声，或干扰 和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是 无干扰信道。8 根据信道有无记忆特性分类o 无记忆信道：输出仅与当前输入有关，而 与过去输入无关的信道。o 有记忆信道：信道输出不仅与当前输入有 关，还与过去输入和（或）过去输出有关 。92、离散信道的数学模型o 信号在信道中传输会引入噪声或干扰，它使信 号通过信道后产生错误和失真；o 信道的输入和输出之间一般不是确定的函数关 系，而是统计依赖关系；o 知道了信道的输入信号、输出信号以及它们之 间的依赖关系，信道的全部特性就确定了。10信道模型o 设输入

4、Xa1,a2,ai,ar输出Yb1,b2,bj,bs o 其信道模型如图3.1所示。11（1）无干扰信道：输入信号与输出信号 有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系 ，输出只与当前输入有关；与以前时刻的输入符号和 输出符号均无关。充要条件如下：（证明见教材P72）（3）有干扰有记忆信道：这是最一般的信道。根据信道的统计特性，离散信道又可分成三种情况：123、单符号离散信道的数学模型单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间 X,p(y|x),Y来描述。

5、X Y13表示成矩阵形式：14例1 二元对称信道（BSC）X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;P=0101-pp1p1-pppXY1-p 01101-p15例2 二元删除信道(BEC) X=0,1; Y=0,2,1 P=0210p1-p0101-qq0 p 0 1-p1 q 12 1-q16由此可见，一般单符号离散信道的传递概率可 以用矩阵表示17为了表述简便，可以写成下面推导几个关系式： 18（1）联合概率其中称为前向概率，描述信道的噪声特性称为后向概率， 有时也把 称为先验概率，把 称为后验概率（2）输出符号的概率（3）后验概率

6、表明输出端收到任一符号，必定是输入端某一符号 输入所致.191、信道疑义度这是收到 后关于X的后验熵，表示收到 后关于输 入符号的信息测度.这个条件熵称为信道疑义度，表示输出端在收到一 个符号后，对输入符号尚存的不确定性，这是由信道干 扰造成的，如果没有干扰，H(X/Y)=0,一般情况下 H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信 源的不确定性，从而获得一些信息。3.2 平均互信息202、平均互信息我们知道H(X)代表接收到输出符号以前关于输入变量 X的平均不确定性，而H(X/Y) 表示收到一个符号后，对 信源尚存的不确定性，可见，通过信道传输消除了一些 不确定性，获得了一定的

7、信息。所以定义二者之差为信 道传递的信息量。（;）称为X和Y之间的平均互信息。它代 表接收到输出符号后平均每个符号获得的关于X 的信息量。 21平均互信息量的物理含义 观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上22 观察者站在输出端o H(X/Y) 信道疑义度/损失熵。 Y关于X的后验不确定度。 表示收到变量Y后，对随机变量X仍然存在的不确定度。代 表了在信道中损失的信息。o H(X) X的先验不确定度/无条件熵。o I(X;Y)收到Y前、后关于X的不确定度减少的量。从Y获 得的关于X的平均信息量。23 观察者站在输入端o H(Y/X)噪声熵。表示发出随机变量X后，对随机

8、变量Y 仍然存在的平均不确定度。如果信道中不存在任何噪声， 发送端和接收端必存在确定的对应关系，发出X后必能确 定对应的Y，而现在不能完全确定对应的Y，这显然是由 信道噪声所引起的。o I(Y;X) 发出X前、后关于Y的先验不确定度减少的量。24 观察者站在通信系统总体立场上o H(XY)联合熵。表示输入随机变量X，经信道传输到达信宿 ，输出随机变量Y。即收、发双方通信后，整个系统仍然存在 的不确定度。 o I(X;Y) 通信前、后整个系统不确定度减少量。在通信前把X 和Y看成两个相互独立的随机变量，整个系统的先验不确定度 为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看 成是

9、由信道的传递统计特性联系起来的、具有一定统计关联 关系的两个随机变量，这时整个系统的后验不确定度由 H(XY)描述。25结 论o以上从三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。26举 例o 例题 把已知信源 接到图2.1.7 所示的信道上，求在该信道上传输的平均互 信息量I(X;Y)，疑义度H(X/Y)，噪声熵 H(Y/X)，联合熵H(XY)。27解：(1) 求联合概率p(xi yj)=p(xi)p(yj/xi)p(x1 y1)=p(x1)p(y1/x1)=0.50.98=0.49p(x1 y2)=p(x1)p(y2/x1)=0

10、.50.02=0.01p(x2 y1)=p(x2)p(y1/x2)=0.50.20=0.10p(x2 y2)=p(x2)p(y2/x2)=0.50.98=0.4028(2) 求Y的各消息概率(3) 求X的各后验概率29(4) 求信源熵和联合熵(5) 平均互信息 I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号30(6) 疑义度(7) 噪声熵31各种熵之间的关系32第三节 平均互信息量的特性 对称性 非负性 极值性 凸函数性 数据处理定理33 对称性I(X;Y)= I(Y;X) o 证明：根据互信息量的对称性I(xi;yj)= I(yj;xi)o 结论：由

11、Y提取到的关于X的信息量与从X中提 取到的关于Y的信息量是一样的。I(X;Y)和 I(Y;X)只是观察者的立足点不同。34 非负性I(X;Y)0当且仅当X和Y相互独立，即I(X;Y)=035结论：o 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。o 或者说从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。36 极值性I(X;Y)H(X) I(Y;X)H(Y)证明：由于 I(X;Y)=H(X)- H(X/Y)0，I(Y;X)=H(Y)- H(Y/X)0,H(Y

12、/X)0， H(X/Y)0,所以 I(X;Y)H(X)，I(Y;X)H(Y)o 从一个事件提取关于另一个事件的信息量，至多是另一个事 件的熵那么多，不会超过另一个事件自身所含的信息量。o 当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。从 一个事件可以充分获得关于另一个事件的信息，从平均意义 上来说，代表信源的信息量可全部通过信道。o 当X和Y相互独立时：H(X/Y) =H(X)， I(Y;X)=0。从一个事件 不能得到另一个事件的任何信息，这等效于信道中断的情况 。37 凸函数性定理 3.1平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数定理 3.2平均互信

13、息量I(X;Y)是信道传递概率p(yj /xi)的下凸函数38n 平均互信息量的数学特性 平均互信息量是p(xi)和p(yj /xi)的函数，即I(X;Y)=f p(xi), p(yj /xi)； 若固定信道，调整信源，则平均互信息量I(X;Y) 是p(xi)的函数，即I(X;Y)=f p(xi)； 若固定信源，调整信道， 则平均互信息量I(X;Y) 是p(yj /xi)的函数，即I(X;Y)=f p (yj /xi)。39n I(X;Y)是 p(xi)的上凸函数上凸函数：同一信源集合x1,x2,xn，对应两个不同的 概率分布p1(xi)和p2(xi)(i=1,2, ,n)，若有小于1的正 数

14、0s，输入X的符号集个数大于输出Y的符号集个数。其信 道矩阵如下：55o 信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元素 ，但每列的非零元素个数大于1： 已知某一个xi后，对应的yj完全确定，信道噪声熵 H(Y/X)=0。 但是收到某一个yj后，对应的xi不完全确定，信道疑义度 (损失熵） H(X/Y)0。 o 信道容量为o 这种信道输入端符号熵大于输出端符号熵，H(X)H(Y) 。o 注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，而不能用输

15、出端的概率分布p(yj)来代替。56举例：前图中的信道容量是log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。 p 由信道矩阵得 p(y1)= p(x1)1+ p(x2)1p(y2)= p(x3)1+ p(x4)1p(y3)= p(x5)1 p 只要p(y1)= p(y2)= p(y3)= (1/3)，H(Y)达到最大值，即 达到信道容量C。 p 此时使p(y1)= p(y2)= p(y3)= (1/3)的信源概率分布 p(xi),i=1,2,3,4,5存在，但不是惟一的。 p 这种信道的输入符号熵大于输出符号熵，即H(X) H(Y)。57 结 论信道容量C只决定于信道的输入符号数r，或 输出符号数s，与信源特性无关。582. 对称离散信道的信道容量 可排列性 对称离散信道定义 对称离散信道的信道容量59 可排列性o 行可排列：一个矩阵的每一行都是同一集合 Qq1,q2,qs中诸元素的不同排列。 o 列可排列：一个矩阵的每一列都