《信息论编码 田宝玉chapter》由会员分享，可在线阅读，更多相关《信息论编码 田宝玉chapter（96页珍藏版）》请在金锄头文库上搜索。
1、第8章 波形信道,第8章 波形信道,本章主要内容：1. 离散时间连续信道 2. 加性噪声信道与容量 3. AWGN信道的容量 4. 有色高斯噪声信道 5. 数字调制系统的信道容量 6. 小结和思考题,本节主要内容：1.时间离散连续信道模型 2.平稳无记忆连续信道 3.多维矢量连续信道的性质 4.离散时间连续信道的容量,8.1 离散时间连续信道,离散时间连续信道,时间离散连续信道如果一个信道的输入与输出只定义在离散时间上，但取值是连续的，这样的信道称为时间离散连续信道，有时简称为连续信道。这种信道可以通过对时间连续信道在离散时间进行抽样或者对连续信道进行某种变换得到。这种连续信道的输入与输出分别
2、为随机序列，而序列中符号的取值是连续的。,离散时间连续信道（续）,如果信道是平稳无记忆的，即信道的转移概率不随时间而变，且信道的输出仅依赖于当前的输入，那么离散时间信道的研究可以归结于单符号离散时间信道研究。所以，我们首先研究单符号信道，然后研究多维矢量信道。,8.1.1 时间离散连续信道模型,一般的时间离散连续信道输入与输出均为随机矢量, 设信道的输入和输出分别是长为的序列，输入矢量集合为,集合中的矢量为 ,其中 为连续或离散随机变量，概率密度或概率用 表示;输出矢量集合为 ，集合中的矢量为 ，其中为连续随机变量，概率密度用 表示。信道模型表示为：其中 为信道的转移概率密度。,8.1.2 平
3、稳无记忆连续信道,一般若信道的转移概率密度满足(8.1.1)则称为此信道为离散时间无记忆连续信道，简称为无记忆连续信道，其数学模型为：如果对于任意正整数m、n，离散无记忆信道的转移概率密度满足： (8.1.2)则称为平稳或恒参无记忆信道。可见,对于平稳信道， 不随时间变化。这样，平稳无记忆信道的模型就是对于平稳无记忆信道，可以用一维条件概率密度来描述，其中，信道的输入X与输出Y都是一维随机变量集合。,8.1.3 时间离散连续信道模型,一般的如前所述，一般的时间离散连续信道输入与输出均为随机矢量，称为多维矢量连续信道。这种信道的输入与输出平均互信息也有与离散情况类似的结果。对于N维矢量信道，输入
4、与输出平均互信息为(8.1.3)通过与离散信道类似的推导，可以得到如下结论：,定理8.1.1 对于离散时间无记忆连续信道，有(8.1.4)仅当信源无记忆时等式成立。定理8.1.2 对于离散时间无记忆连续信源，有 (8.1.5)仅当信源无记忆时等式成立。,8.1.4 离散时间连续信道的容量,一般的与离散信道一样，信道容量是研究的主要内容。在求离散信道容量的过程中，除输入概率归一化的限制之外，可以不做其他限制。但对连续信道，若不对输入进行附加限制，输入与输出之间的平均互信息的最大值就可能会无限增大。通常这种限制就是输入功率或峰值的限制。因此，连续信道容量定义为，在信道输入满足某些约束条件下，输入与
5、输出平均互信息的最大值。,1. 单符号连续信道的容量熵,在计算单符号离散时间连续信道的容量时，首先定义一个与输入有关的非负代价函数和一个约束量，信道容量定义为： (8.1.6)即容量就是在满足约束 的条件下， 的最大值。实际上，这个有约束最大值随的增加而增加，即约束不等式在取等号时最大值达到最大，所以在求有约束的最大值时，将约束中的不等式取等号，即 (8.1.7),上式可分为两种情况来处理： （1）对于 可以变动的情况，则应改变 ，求在满足约束条件下的极值； （2）对于 已经固定的情况，则仅利用约束条件求极值，即 (8.1.8),2. 平稳无记忆连续信道的容量,根据式(8.1.4)，当信源无记
6、忆时，有 (8.1.9)因此，平稳离散时间无记忆连续信道的容量的计算可以归结为式(8.1.6)。令 表示信号能量，则约束变为 ，它表示输入平均能量约束。今后我们主要研究在这种约束条件下的信道容量。所以，平均能量约束离散时间平稳无记忆信道的容量为 (8.1.10)除非特殊声明，后面所研究的连续信道都认为是平稳的。,本节主要内容：1.加性噪声信道的容量 2.加性高斯噪声信道的容量 3.一般加性噪声信道容量界 4.并联加性高斯噪声信道的容量,8.2 加性噪声信道与容量,8.2.1 加性噪声信道的容量,如果信道输入和独立于输入的噪声均为随机变量，而信道的输出是输入与噪声的和，那么这种信道称为加性噪声信
7、道。对于这种信道，我们始终假设信道输入X为均值为零的连续或离散随机变量集，概率或概率密度密度为 ，噪声Z是均值为零的独立于X的连续随机变量集，概率密度为 ，信道的输出为Y=X+Z ，条件概率密度为 。这种信道的模型下图所示。,定理8.2.1 设信道的输入与输出分别为X和Y，加性噪声信道的噪声Z独立于输入且熵为 ，那么(1)信道的转移概率密度为 (8.2.1)(2)条件熵 (8.2.2)(3) 信道输入与输出的平均互信息 (8.2.3)(4) 信道容量 (8.2.4)其中 为信道输出的熵。,证 因为z为独立加性噪声，所以 ，有其中 ，det(A)=1。从而有 ,，得(8.2.1)；根据变换的熵定
8、理，有 ，又 因为 独立,有 ,从而得(8.2.2)；由 和(8.2.2)得到(8.2.3) ；因 依赖于输入X，而 独立于输入X，所以求 相当于求 的最大值，因此得(8.2.4)#,例8.2.1 一个信道的噪声Z在 区间均匀分布，输入信号X的幅度限制在区间 内，输出Y=X+Z，求输入与输出平均互信息 的最大值 解 由于y=x+z，所以y的值限制在区间 内。根据限峰值最大熵定理，Y应该是均匀分布才能使 达到最大值。所以， 比特/自由度,8.2.2 加性高斯噪声信道的容量,如果信道的加性噪声为高斯分布，则信道称为加性高斯噪声信道。给定信道输入X的方差为 ,噪声为零均值、方差为 的高斯分布，即Z
9、，那么Y的方差也就确定。根据限功率最大熵定理，当Y为高斯分布时， 达到最大。又根据 (8.2.3)可知，此时 达到最大.由 可知，X也应为高斯分布。设X ，且X、Z独立，所以Y,由上有 (8.2.5) (8.2.6) (8.2.7)注：(1)对于加性高斯噪声信道，当 达到最大值时，输入与输出均为高斯分布，而且这个最大值仅与输入信噪比 有关；(2)当时 ， ；(3)必须对 进行限制才能得到有限的 的最大值。,定理8.2.2 设一个离散时间平稳无记忆加性高斯噪声信道，噪声方差为 ，输入限制为 ，则信道容量为 比特（或奈特）/自由度 因为随机变量是一维的，一维的变量具有一个自由度，多维变量则有多个自
10、由度。由(8.2.8)可知，对功率受限平稳无记忆加性高斯信道，其容量仅与输入信噪比有关。,8.2.3 一般加性噪声信道容量界,对于一般的加性噪声信道，难以求出精确的容量表达式，但可以估计容量的界限。 定理8.2.3 设一离散时间无记忆连续信道的加性噪声的方差为 ，熵功率为 ，输入功率约束为 ，则噪声信道的容量C满足：(8.2.9)在证明该定理之前，先介绍一个引理。,引理8.2.1 设 为高斯概率密度， 为同一空间与其方差相同的概率密度，那么 (8.2.10)其中， 为高斯信源的熵。（证明略）。注意：此结果对于多维情况和条件概率密度情况都成立，要求对应的自协方差矩阵相同。,证: 根据给定条件，有
11、 右边：由于是加性噪声，根据定理8.2.1,有上面的不等式利用了限功率最大熵定理，当噪声为高斯分布时，等号成立。左边：设信道输入和输出的概率密度分别为 和 ，信道的转移概率密度为,（续）因为是加性噪声 ，分布的方差为 ；当噪声为方差 的高斯分布时，信道的转移概率密度为 ，达到容量时的输出也为高斯分布，密度为，且方差为 ，与 的方差同,并且 为均值是x，方差为 的高斯分布密度。,（续）计算其中，a：利用了引理8.2.1的结果。即左边不等式成立，仅当 （此时也有）时，等号成立。(8.2.9)式表明，在高斯噪声条件下，等式成立，达到容量下界 。#,从前两节研究的内容，可得如下结论：(1)在功率相同的
12、加性噪声中，高斯噪声使信道容量最小，也就是说，高斯噪声是最难抵抗的噪声；(2)在干扰存在的条件下，通信系统通过在发送和接收端的信号处理，可以使性能不劣于等功率高斯噪声造成的影响；(3)对通信系统干扰的最佳策略是，产生高斯噪声干扰；(4)通信系统抵抗最佳干扰的最佳策略是，让信源输出的统计特性为高斯分布,8.2.4 并联加性高斯噪声信道的容量,设信道的输入与输出分别为维矢量集合 和 ,加性噪声 ，即有 ，其中 ,当 为 的独立噪声时，便构成包含N个独立子信道的并联加性高斯噪声信道，如下图所示。,定理8.2.4 设由N个独立子信道构成的离散时间无记忆加性高斯噪声并联信道，各子信道噪声的方差分别为 ,
13、输入满足约束 (8.2.10)那么,当输入是统计独立、零均值的高斯随机矢量时达到容量,并满足：对于 (8.2.11a) 对于 (8.2.11b) (8.2.11c)其中B为常数，信道容量为 (8.2.12),证如果并联信道的各子信道的加性噪声相互独立，那么各子信道的输出就仅与该子信道的输入有关，而与其他子信道的输入输出无关（为什么？）。此时，连续并联信道容量与离散并联信道容量的计算公式相同，即信道容量 ，其中为各子信道的容量。根据(8.2.8)，有 (8.2.13)当相互独立，且为高斯分布时，达到(8.2.13)中的容量。但各子信道输入能量应满足(8.2.10)的约束，所以(8.2.13)还应在满足(8.1.10) 的条件下求极大值。,
