《信息论基础——离散无记忆信道信道容量》由会员分享，可在线阅读，更多相关《信息论基础——离散无记忆信道信道容量（23页珍藏版）》请在金锄头文库上搜索。
1、第4章 数据可靠传输和信道编码 1 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四 2 数据可靠传输和信道编码 4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型 4.5 联合信源-信道编码定理 4.6 线性分组码 习题四 3 离散无记忆信道和信道容量 为确定信道传输的限度，就要考虑信道传递信息的基本 单元信号. 信号无论采用光、声、电还是其他形式都是一 种物理过程. 每个信号都需要一定的时间. 在烽
2、火台上点燃烽火也许要花好几分钟，现代极高频无 线电通信传递信号所需要的时间还不到亿分之一秒. 尽管如 此，总要有一定的时间间隔才能把信号与信号分离开来. 超 过时间间隔的一定限度，信号就会无法分辨： 典型的例子就是一个人说话过分快，听的人根本听不懂 他在说什么. 因此，要使一个信道能够起到传递信息的功能 ，每分钟传递的信号数目就要有一定的限度. 4 离散无记忆信道和信道容量 这点是比较容易理解的. 再比如，我们规定公共汽车 必须一辆接一辆地开来，每辆汽车必须在车站停一分钟，以 便乘客上下. 那么不管增加多少车辆，也不会越过每分钟一 辆的速率. 既然如此，要想提高运输量，途径就是增加每辆汽车的
3、装载量. 那么能否提高每个信号所携带的信息量呢？ 信息量的定义告诉我们，一个事件发小的概率越小，告 诉我们这件事是否发生的信号带来的信息量越大. 进而增大 每个信号信息量的办法是增加不同信号的数目. 5 离散无记忆信道和信道容量 但是，对于任何给定的信道来讲，可以分辨的信号数目 (这和前面所讲的以时间间隔分辨信号是不同的概念) 是有限的. 例如对于电报来讲，不同的信号只有点和划；对于电话 来讲，可以分辨的音素也是有限的. 即使在没有噪声干扰的 情况下(每辆公共汽车可以载满乘客，不必担心中途会发少 什么意外)，信道在单位时间内只能准确地传递有限的信号 ，而每个信号所携带的信息量又是有限的，因此信
4、道在单位 时间内传递的信息量也是有限的. 该限度就称为信道容量信道容量限制了通信系统的能力！ 6 离散无记忆信道 提高传输的可靠性！ 7 信道的分类：信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道（广播、电视、卫星、计算机网） 至少有一端有两个以上的用户，双向通信 离散无记忆信道 8 根据符号的概率分布，可分为 （1）有记忆信道 （2）无记忆信道 （任一时刻输出符号只统计依赖于对应时刻输入符号的 信道） 离散无记忆信道 9 根据输入输出信号的特点，可分为 （1）离散信道 输入集和输出集都是离散集:电报信道和数据信道 （2）连续信道电视
5、和电话信道 （3）半离散半连续信道输入集和输出集中一个是连续 集、另一个是离散集 :连续信道加上数字调制器或数字解调器 （4）波形信道 以下我们只研究单用户离散无记忆信道。 离散无记忆信道 数字信道以数字 脉冲形式（离散 信号）传输数据 10 满足离散无记忆信道的充要条件是 其中，输入符号集 X = x1 , x2 , , xN 输出符号集 Y = y1 , y2 , , yN 离散无记忆信道 11 信道转移概率分布的矩阵形式： 离散无记忆信道 信道转移概率 12 信道转移概率分布的图示： 离散无记忆信道 13 信道的任务是以信号方式传输信息和存储信 息；因此，研究信道就是研究信道中能够传送或
6、 存储的最大信息量，即信息无差错传输的最大速 率 ，就是信道容量问题. 因此，首先要考虑信道中平均每个符号能传 输的信息量平均互信息. 区分：带宽与信道容量 信道容量 14 带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设计的 传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽”表示 信道的数据传输速率. 信道容量:信道在单位时间内可以传输的最大信号量，表示信道的传 输能力。信道容量有时也表示为单位时间内可传输的二进制位的位 数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表 示，简记为bps。 信道容量和信道带宽具有正比的关系：带宽越大，容量越大。 局域网带宽（
7、传输速率）：10Mbps、100Mbps、1000Mbps； 广域网带宽（传输速率）：64Kbps、2Mbps、155Mbps等 信道容量 15 由于 I(X,Y)=H(X)-H(X|Y) bit/符号 是输入随机变量X的概率分布p(x)的上凸函数 ，因此对于一个确定信道，总存在一个信源 （某种概率分布p0(x)），使得传输每个符号 平均获得的信息量最大，即每个固定信道都 有一个最大的信息传输率，定义这个最大值 为信道容量C. 离散无记忆信道和信道容量 16 离散无记忆信道和信道容量 17 通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(
8、x)P(y)为入口与 出口信号的互信息密度函数 p0(x)为最大入口分布。 其中，输入符号集 X = x1 , x2 , , xN 输出符号集 Y = y1 , y2 , , yN 离散无记忆信道和信道容量 18 注：注： 1）C与输入信源的概率分布无关，它只是信道传输概 率的函数，只与信道的统计特性有关. 是完全描述信道 特性的参数，是信道能够传输的最大信息量； 2）从数学上来说，计算C就是求I(X;Y)的最大值；但 是，对于一般信道计算相当复杂. 这里我们只讨论几种 典型的无记忆信道的C的计算. 离散无记忆信道和信道容量 19 如果一个离散信道的信道转移矩阵中的每一行都是由 同一组元素的不
9、同组合构成的，并且每一列也是由这一组 元素组成的，则称为对称信道； 如： 和 2.1 2.1 二进对称信道（二进对称信道（BSCBSC） 离散无记忆信道和信道容量 20 X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; P= 01 01-pp 1p1-p 0 1-p 0 p p 1 1-p 1 p称为交叉 概率误差！ 离散无记忆信道和信道容量 21 如果信道的输入概率分布X=w,1-w，则 由此可得 离散无记忆信道和信道容量 22 平均互信息对 存在一个极大值， 即当 时， 有极大值 ，从而BSC的信 道容量 最大入口分布： 离散无记忆信道和信道容量 23
