《信息论与编码第3章》由会员分享，可在线阅读，更多相关《信息论与编码第3章（45页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码第3章信源信源编码信道解码信道信道编码加密信宿信源解码解密加密密钥干扰源解密密钥窃听者xyzzyxkk通信系统的物理模型3.1信道的基本概念信道是通信系统中的重要组成部分，是信息传输的媒介，其任务是以信号的方式传输信息、存储信息。2n信道可以是简单的一段电路，也可以是包含了设备的复杂系统。即使在同一个通信系统中，也可以有不同的划分。n研究信道就是研究信道中理论上能够传输或者存储的最大信息量，即信道的容量问题。3n3.1.1 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类：随机差错、突发差错 输入输出特点：离散、连
2、续、半离散半连续、波形信道3.1信道的基本概念4n3.1.2 信道参数信道种类无干扰信道有干扰无记忆信道有干扰有记忆信道5n无干扰（无噪声）信道信道种类6n有干扰无记忆信道二进制对称信道（BSC）信道种类p(Y=0|X=1) = p(Y=1|X=0) = pp(Y=1|X=1) = p(Y=0|X=0) = 1- p 7信道种类n有干扰无记忆信道离散无记忆信道8信道种类n有干扰无记忆信道离散输入、连续输出信道：输入有限的、离散的；输出是连续的 Y X G加性高斯白噪声 (AWGN) 信道：9信道种类n有干扰无记忆信道波形信道：输入是模拟波形；输出也是模拟波形噪声与信号通常相互独立， 波形信道转
3、化成多维连续信道， 条件熵HC(Y/X)是由于噪声引起的，它等于噪声的熵HC(n)，所以称条件熵为噪声熵，也被称作散布度。10信道种类n有干扰有记忆信道n两种处理方法：将记忆性较强的多个符号当作矢量符号，各个矢量符号之间认为无记忆；将转移概率看作马尔科夫链的形式，信道的统计特性可用现时刻输入信号和前时刻信道所处的状态的条件概率决定。11信道种类n分析目的不同，所选的信道模型也不同：设计和分析离散信道编、解码器的性能，从工程角度出发：DMC或BSC信道模型从分析性能的理论极限角度出发：离散输入、连续输出信道模型设计和分析数字调制、解调器的性能：波形信道模型n本书的后续部分主要讨论编解码，因此，D
4、MC信道使用最多。123.1.3 信道容量的定义n信息传输率：信道中平均每个符号所能传送的信息量， R=I(X;Y)=H(X)H(X/Y) 比特/符号n信息传输速率：信道在单位时间内平均传输的信息量，Rt=I(X;Y)/T 比特/秒n信道容量：信道所能传送的最大信息量。 比特/符号（bits/symbol或bits/channel use）n注意限制条件：概率的非负性与全概率公式。 或者Ct=C /T，比特/秒(bits/s)13n两个问题：I(X; Y)的最大值是否存在？若存在，怎样才能找到它？第一个问题，即信道容量的存在性问题，由以下存在性定理来说明。 定理：给定转移概率矩阵P后，平均互信
5、息I(X;Y)是概率矢量Px的上凸函数。(证明略) 用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上，I(Px)取得极大值，这个极大值就是信道容量。第二个问题，信道容量的计算问题。 对于固定信道参数的信道，信道容量是个固定值，但在传输时能否提供最大的传输能力，取决于输入端符号的概率分布。143.2 离散单个符号信道及其容量n3.2.1 无干扰离散信道的信道容量X、Y一一对应Clog n多个输入变成一个输出CmaxH(Y)一个输入对应多个输出CmaxH(X)153.2离散单个符号信道及其容量n3.2.2 对称DMC信道输入对称 如果转移概率矩阵P的每一行都是
6、第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道 如果输入、输出都对称163.2.2 对称DMC信道及其容量n对称DMC信道例子173.2.2 对称DMC信道及其容量对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有 当对称信道输入符号等概率分布时，输出符号也等概分布；反之，若对称信道输出符号等概分布时，输入符号必定也是等概分布。183.2.2 对称DMC信道及其容量n对称信道容量结论：当信道输入符号等概率分布时，对称DMC信道达到其信道容量。其中，m为信道输出符号集中的符号数目
7、。193.2.2 对称DMC信道及其容量n例3-1. 求信道容量203.2.2 对称DMC信道及其容量n例3-2. 求信道容量信道输入符号和输出符号的个数相同都为n，且正确传输概率为1，错误概率被均分给n-1个输出符号，该信道被称作强对称信道或均匀信道，为对称离散信道的特例。213.2.2 对称DMC信道及其容量n二进制对称信道容量 C1H（）nPage-53 离散无记忆模K加性噪声信道Page-54 例3-3223.2.2 对称DMC信道及其容量n串联信道 C(1,2)=max I(X; Z) C(1,2,3)=max I(X; W) 串接的信道越多，其信道容量可能会越小，当串接信道数无限大
8、时，信道容量就有可能趋于零。 233.2.2 对称DMC信道及其容量n例3-4.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量243.2.2 对称DMC信道及其容量n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)253.2离散单个符号信道及其容量n3.2.3 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道263.2.3 准对称DMC信道及其容量n准对称DMC信道容量 结论：当输入分布为等概分布时，互信息达到最大值，即为信道容量（证明略）。273.2
9、.3 准对称DMC信道及其容量n例3-6. 求信道容量 方法一： 信道的输入符号有两个，可设p(a1)，p(a2)1， 信道的输出符号有三个，用b1、b2、b3表示， 这样的信道也被称作二元对称删除信道。283.2.3 准对称DMC信道及其容量n方法二 当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036 bit/符号n方法三 将转移概率矩阵划分成若干个互不相交的对称的子集n为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列
10、元素之和，r是互不相交的子集个数293.2.3 准对称DMC信道及其容量n方法三303.2.3 准对称DMC信道及其容量n例3-7. 求信道容量313.2离散单个符号信道及其容量n3.2.4 一般DMC信道 一般地说，为使I(X;Y) 最大化以便求取DMC容量，输入符号概率集p(ai)必须满足的充分和必要条件是： I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) C 对于所有满足p(ai ) = 0条件的I当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。323.3 离散序列信道及其容量(略)
11、 3.4 连续信道及其容量 n3.4.1 连续单符号加性信道 x (xR) p(y/x) y (yR) n平均互信息为I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY) 信道容量y = x + n333.4 连续信道及其容量 n连续单符号加性信道 若噪声是均值为零、方差为2的加性高斯噪声，Hc(n)最大，信道容量就小。这是信道危害最大的情况，所以在处理实际问题时，通常采用计算高斯噪声信道容量的方法保守地估计容量，且高斯噪声信道容量容易计算。343.4 连续信道及其容量 n连续单符号加性信道 pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，
12、pX(x)N(0,S) C1/2 log(1+SNR)信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 若仅仅是加性的，可以求出信道容量的上下界 353.4 连续信道及其容量 n3.4.3 限时限频限功率加性高斯白噪声信道 波形信道中，在限时tB、限频fm条件下可转化成多维连续信道，将输入随机过程x(t)、输出随机过程y(t)转化成L维随机序列XX1 X2 XL 和YY1 Y2 YL，波形信道的平均互信息为信道容量为 n3.4.2 多维无记忆加性连续信道（略） 363.4 连续信道及其容量 n限时限频限功率加性高斯白噪声信道 在加性高斯白噪声信道中，信道的容量 单位时间
13、的信道容量： 香农公式 也可写为 Ct = W log(1+SNR) bit/s 输入信号x(t)满足均值为零、平均功率Ps的高斯白噪声的特性。 单位时间的信道容量： 也可写为 Ct = W log(1+SNR) bit/s单位时间的信道容量： 也可写为 Ct = W log(1+SNR) bit/s单位时间的信道容量： 也可写为 Ct = W log(1+SNR) bit/s单位时间的信道容量： 也可写为 Ct = W log(1+SNR) bit/s单位时间的信道容量： 37平均功率受限条件下信道容量带宽信号平均功率噪声功率谱密度信噪比Signal Noise Ratio10logSNR
14、单位dB结论：W给定时，SNR，CSNR给定时，W ，CC给定时，W，SNR，信号功率 W，SNR，信号功率 说明宽带系统有较好的抗干扰性。（扩频通信）383.4 连续信道及其容量 n例：电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR100，求信道的容量。393.5 信源与信道的匹配 信源发出的消息（符号）要通过信道来传输，因此要求信源的输出与信道的输入匹配。符号匹配：信源输出的符号必须是信道能够传送的符号；信息匹配：当信源与信道连接时，信息传输率达到信道容量，则称信源与信道达到匹配。 40信道冗余度n信道绝对冗余度 = CI(X;Y) n信道相对冗余度 = 41n冗余度大：信
15、源与信道匹配程度低，信道的信息传递能力未得到充分利用；n冗余度小：信源与信道匹配程度高，信道的信息传递能力得到较充分利用；n冗余度为零：说明信源与信道（信息）完全匹配，信道的信息传递能力得到完全利用。n通常，实际信源的概率分布未必就是信道的最佳输入分布，所以I(X;Y)C，冗余度不为零。信道冗余度42n对信源输出符号进行编码可以使得信源的输出与信道的输入相匹配：将信源输出的符号变换为信道能够传送的符号，即符号匹配；变换后的符号概率分布能使信息传输率接近信道容量，即信息匹配。nPage-67：例3-1243小结n信道参数：用转移概率表示信道n信道容量信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。如果已知信道符号传送周期是T秒，此时Ct=C /T，比特/秒(bit/s)。44DMC信道的容量n对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量 nBSC信道的容量：m = 2n准对称信道的容量45
