《石东新信息论课件3第三章离散信道及信道容量2016章节》由会员分享，可在线阅读，更多相关《石东新信息论课件3第三章离散信道及信道容量2016章节（176页珍藏版）》请在金锄头文库上搜索。
1、第三章 离散信道及其信道容量,石东新 中国传媒大学 信息工程学院,如何度量信息？信源的输出含有多少信息？ 2、离散信源及其信息测度,传输信息的最高速率（信道容量） 3、 离散信道及其信道容量,5、无失真信源编码定理 8、无失真信源编码 7、保真度准则下的信源编码,6、有噪信道编码定理 9、信道的纠错编码,期中考试,4、波形信源和波形信道,信息论的旅程,3,本章研究什么？,信道是什么？ 信道是信号的传输媒介，是传送信息的物理通道。 需要考虑的主要问题 信道建模（信道的统计特性描述） 信道传输信息的能力（信道容量） 在有噪信道中能不能实现可靠传输？,4,主要内容,信道的数学模型及其分类 离散无记忆
2、信道 信道容量 离散无记忆扩展信道 信道的组合,5,主要内容,信道的数学模型及其分类 离散无记忆信道 信道容量 离散无记忆扩展信道 信道的组合,6,3.1.1 信道的数学模型及其分类-分类,按输入/输出信号的幅度和时间特性划分：,7,3.1.1信道的数学模型及其分类-分类,按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出概率分布仅依赖于它所对应的输入，而与信道先前时刻的输入或输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。 根据信道的输入/输出是否是确定关系可分为: 有干扰信道 无干扰信道,8,3.1.1信道的数学模型及其分类-分类,信道的统计特性是否随时
3、间改变而改变: 平稳信道（恒参信道、时不变信道，如卫星通信） 非平稳信道（随参信道、时变信道，如移动通信） 根据输入/输出的个数可分为： 两端信道（单用户信道）：一个输入一个输出的单向通信。 多用户信道：双向通信或三个或更多个用户之间相互通信的情况 ，例如多元接入信道、广播信道、网络通信信道等。 本章着重讨论单用户信道，以无记忆、恒参的有干扰离散信道（无反馈）为重点,9,主要内容,信道的数学模型及其分类 离散无记忆信道 离散无记忆扩展信道 信道的组合 信道容量,10,3.1.2离散无记忆信道的数学模型,Y随机序列 (Y1Y2YN ) Yjb1，b2，bs,信道,X随机序列 (X1X2XN )
4、X ia1，a2，ar,噪声,注：ai与bj可完全相同，也可完全不同； r 和 s也可不等,11,3.1.2离散无记忆信道的数学模型,随机干扰-存在输入和输出两者之间的关系用条件概率P（Y|X）来表示，即转移概率，共有rNsN个。,信道数学模型，用概率空间描述:,一般信道的数学模型:,实际信道带宽有限的，经抽样后，单位时间内的样点数有限，所以输入和输出信号总可以分解成随机序列来研究。随机变量的取值：离散或连续,随机干扰,12,3.1.2离散无记忆信道的数学模型,定义：离散无记忆信道（DMC），满足,定义：离散无记忆恒参（平稳）信道，满足,一般，不加说明，离散无记忆信道都看做是离散无记忆恒参信道
5、。因此，离散无记忆信道的研究只需研究单个符号的传输即可，所以也叫单符号离散信道。,13,3.1.3 单符号离散信道,为一维随机变量，输入符号集,其中：,为一维随机变量，输出符号集,信道传递概率（转移概率）为,噪声,14,3.1.3 单符号离散信道,信道传递概率可以用信道矩阵P来表示：,描述信道特性（信道中存在干扰）,15,3.1.3 单符号离散信道-例题,例4.1： 二元对称信道（BSC：Binary Symmetric Channel）输入符号集A=0,1, 输出符号集B=0,1，rs2传递概率：,16,3.1.3 单符号离散信道-例题,例4.2：二元删除信道（BEC：Binary Eras
6、ure Channel） 。 输入符号集A=0,1，符号输出集B=0,?,1，r = 2, s = 3,信道矩阵为：,0,1,0,?,1,信道转移概率图,删除信道：互联网,17,3.1.3 单符号离散信道-常用到的概率关系,1) 先验概率,4) 联合概率,并且有,2) 前向概率（即信道传递概率）,3) 后向概率（又称后验概率）,18,3.1.3 单符号离散信道-常用到的概率关系,5) 输出符号概率,用矩阵形式表示为,19,结论：,有关信道的所有概率都可由先验概率 p(ai) 和前向概率p(bj |ai )表示。,3.1.3 单符号离散信道-常用到的概率关系,20,例4.3：二元对称删除信道 输
7、入符号集A=0,1，符号输出集B=0,?,1， r=2, s=3 。,0,1,0,?,1,信道矩阵为：,信道转移概率图,3.1.3 单符号离散信道-例题,21,3.2 平均互信息及平均互信息量,设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合 信源发出的消息，经过有噪声的信道传递到信宿,22,信道疑义度表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。,3.2.1 信道疑义度,理想信道，H(X|Y)=0。 一般情况下， 。 当 时，表示接收到输出变量Y后关于输入变量X的平均不确定性一点也没有减少。,接收输出符号yj后关于X的后验熵,23,H(Y|X),H(Y)
8、,H(X |Y),H(X),I(X;Y),H(XY),3.2.2 单符号离散信道-信道的疑义度,24,3.2.1 信道的疑义度,二元删除信道,例4.4：已知输入集X的概率分布如下,求信道疑义度：,0,1,0,?,1,25,根据联合概率，可求解后向（后验）概率,信道疑义度求解：,3.2.1 信道的疑义度,26,方法二：,27,3.2.2 平均互信息量,先验概率：信源发出消息 的概率 后验概率：信宿收到消息 后推测信源发出 的概率，即条件概率,互信息-相关概率知识,28,3.2.2互信息量-定义 离散随机事件集X, Y,事件yj 所给出关于事件的信息，即 I() : 收到 yj 前对于信道输入符号
9、 存在的不确定度； I(|yj) ：收到 yj 后对 仍然存在的不确定度 互信息有两方面的含义 表示事件 yj 出现前后关于事件 的不确定性减少的量 事件 yj 出现以后信宿获得的关于事件 的信息量,先验不定度,后验不定度,29,3.2.2互信息量,30,3.2.2 互信息量-例题 2.6,例：一离散无记忆信源，其概率空间为 信源发出的符号通过一干扰信道，信道输出端的接收符号集为Y=0,1，信道传递概率如下所示：,0,0,1,1,5/6,1/6,1/4,3/4,（1）信源符号0和1分别含有的自信息量； I(x=0)和I(x=1)? （2）收到yj后，获得的关于的信息量； I(x=0;y=0),
10、 I(x=0;y=1), I(x=1;y=0),I(x=1;y=1),31,3.2.2 互信息的性质,互信息的互易性 互信息可为零 互信息可正可负 任何两个事件之间的互信息不可能大于其中任一事件的自信息,32,用公式表示为 互信息的对称性表明： 从yj得到的关于的信息量 与从得到的关于yj的信息量 是一样的，只是观察的角度不同而已。,3.2.2 互信息的性质-互信息的互易性,33,3.2.2互信息的性质-互信息可正可负,正相关,负相关,不相关,yj的发生预测发生的可能性较大,yj的发生与的发生无关,yj的发生预测发生的可能性不大,34,3.2.2互信息的性质-互信息可正可负, p(|yj)=1
11、：表明收到 yj 即可判定发端发的是，可完全消除对于 的不确定度，从而获取 的全部信息量。有I(;yj)=I()。 p(|yj)=p() ：表明收到 yj 后无助于判定，因此并没有获得关于的信息量。有I(;yj)=0， p(|yj)p():表明收到yj 后判断信源发 的可能性大于收到 yj 前判断信源发 的可能性，收到yj 有助于判断 ，有I(;yj)0。 p(|yj) p() ：表明收到 yj 增加了对信源发 的不确定度的判断，有I(;yj)0，这时，应当避免选取X=行发送。,35,解：,1) I(e)= -log0.125 =3 bit 2) I(e |f)= -log0.8 =0.322
12、 bit 3) I( )= -log0.875 =0.193 bit 4) I( |f)= -log0.2 =2.322 bit 5) I(e；f)= 3 0.322 =2.678 bit 6) I( ；f)= 0.193 2.322 = -2.129 bit,设e表示“降雨”，f表示“空中有乌云”，且 P(e)=0.125，P(e|f)=0.8 求：1）“降雨”的自信息 2）“空中有乌云”条件下“降雨”的自信息 3）“无雨”的自信息 4）“空中有乌云”条件下“无雨”的自信息 5）“降雨”与“空中有乌云”的互信息 6）“无雨”与“空中有乌云”的互信息,例,36,3.2.2互信息的性质-互信息可
13、为零, 和 yj相互独立,互信息为0 表明收到 yj 后并没有消除任何不确定度，因此不能获得关于 的信息量,=p(),37,3.2.2互信息的性质 任何两个事件之间的互信息不可能大于其中任一 事件的自信息,自信息量是确定该随机事件出现所必需的信息量，也是任何其他事件能提供的关于该事件的最大信息量,38,3.2.2 条件互信息,联合集XYZ中，在给定事件yj的条件下，与zk之间的互信息定义为条件互信息:,条件互信息和互信息的区别仅在于先验概率和后验概率都 是在某一特定条件下的取值,级联信道!,39,联合集XYZ中，与yjzk的互信息量 这说明 yj zk 联合发生后所提供的有关 的信息量I(;
14、yj zk)，等于yj 给出关于 的信息量I(;yj)加上yj 已知条件下zk 给出关于 的信息量I(;zk|yj) 。 以上关系可推广到任意维空间，在网络信息论中这些关系十分有用,3.2.2 条件互信息,40,3.2.2 平均互信息,互信息 I(;yj)在联合概率空间P(XY)中的统计平均值，被定义为随机变量 X 和随机变量 Y 之间的平均互信息，是两个概率空间 X 和 Y 之间的平均互信息，用公式表示为:,I(X;yj),41,3.2.2平均互信息,42,平均互信息量的物理含义, 观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上,3.2.2平均互信息,43,观察者站在输出端
15、,H(X/Y) 信道疑义度/损失熵/后验熵。 表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。 H(X) X的先验不确定度/无条件熵/先验熵。 I(X;Y)收到Y前、后关于X的平均不确定度减少的量。从Y获得的关于X的平均信息量。,3.2.2平均互信息,平均互信息=先验熵-后验熵,44,观察者站在输入端,H(Y/X)噪声熵。表示发出随机变量X后，对随机变量Y存在的平均不确定度，可以理解为噪声引入的信息量（Y=N+X）。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而如果不能完全确定对应的Y，这显然是由信道噪声所引起的。 I(Y;X) 收到Y所获得的信息量减去额外的信息量（噪声带来的）。,3.2.2平均互信息,平均互信息=接收符号熵-噪声熵,45,观察者站在通信系统总体立场上,假设把X和Y看成通信前两个相互独立的随机变量，此时整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)； 通信后，X和Y经信道的传递统计特性联系起来，具有统计关联性，这时整个系统的后验不确定度由H(XY)描述。 I(X;Y) 通信前、后整个系统不确定度减少量，即经系统无失真传输（流通）的平均信息量。,3.2.2平均互信息,46,公式符号和集合之间的对应关系：
