《信息论6－-3》由会员分享，可在线阅读，更多相关《信息论6－-3（22页珍藏版）》请在金锄头文库上搜索。
1、对随机波形信源 随机序列连续信源 离散型信源,连续信源的差熵: 在离散信源熵的公式中, 用 代替 连续信源差熵与离散信源熵的区别：不具有非负性和变换 (一一映射) 不变性 均匀分布连续信源的熵：h(X) = log(b-a) / h(X) = ilog(bi-ai) = i h(Xi) 高斯分布连续信源的熵: h(X) = log (2e2)/ h(X) = log (2e)N |C|,量化(数值离散),复习,抽样(时间离散),分割,输出幅度(峰值功率)受限，则其输出信号的概率密度是均匀分布时，信源具有最大熵 平均功率受限，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大的熵 熵功率：
2、熵为h的高斯信源的平均功率 剩余度：熵为h的其他与熵功率之差 零均值非高斯连续型随机变量X,Z，令Y=X+Z，有,复习：最大熵,复习：连续信源变换,变换前后联合概率密度函数间的关系： py(y1y2yN) = px(x1x2xN)|J(X/Y)| 变换后相对熵的变化（不具备变换不变性）： h(Y)=h(X)Elog|J(X/Y)|,复习： 连续信道和波形信道,波形信道：输入和输出都是随机过程 1）高斯信道：信道噪声n(t)统计规律服从高斯分布。 2）白噪声信道：信道噪声的功率谱密度是常数Pn()=N0/2； 相关函数 Rn()=()N0/2 12）高斯白噪声信道；其他：有色噪声信道 多维连续信
3、道：连续无记忆 p(y|x)=i p(yi|xi)/连续有记忆 基本连续信道：输入和输出都是单个连续型随机变量的信道 根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道、乘性信道和高斯信道等之分。 加性连续信道p(y|x) p(n) h(Y|X)h(n),加性连续信道,pxy(xy)pxn(x,n=y-x)|J(x,n/x,y)|=pxn(xn)=px (x)pn(n)py|x(y|x) = pxy(xy)/px(x) = pxn(xn)/px(x) = pn(n)条件熵 h(Y|X) p(xy)log p(y|x)dxdy= p(x)dx p(n)log p(n)dn =
4、h(n)结论1、传递概率是由噪声引起的； 结论2、条件熵噪声熵 说明：后面主要研究高斯白噪声和加性信道,6. 7 连续信道和波形信道的信息传输率,6.7.1 单符号连续信道的平均互信息单符号连续信道的输入信源X为：,输出信源Y为：,I(X;Y) = H(Xn) - H(Xn|Yn),说明：1）保留了离散信道的平均互信息的所有含义和性质；2）只不过用连续信源的差熵替代了离散信源的熵。 单符号连续信道的信息传输率： R=I(X;Y) (比特/自由度),6.7.2 多维连续信道的平均互信息,多维连续信道的数学模型为X，p(y/x) ，Y，平均互信息：I(X;Y) = h(X) - h(X|Y) =
5、h(Y) - h(Y|X) = h(X) + h(Y) - h(XY) 多维连续信道的信息传输率 R=I(X;Y) (比特/N个自由度) 平均每个自由度的信息传输率 R=I(X;Y)/N (比特/自由度),6.7.3 波形信道的信息传输率,波形信道的平均互信息为：I(x(t);y(t) = limNI(X;Y) = h(x(t) - h(x(t)|y(t)= h(y(t) - h(y(t)|x(t)= h(x(t) + h(y(t) - h(x(t)|y(t) 对于波形信道，一般研究其单位时间内的信息传输率Rt Rt = limTI(X;Y)/T （比特/秒）,6.7.4 连续信道平均互信息的
6、特性,两连续型随机变量之间的平均互信息的表达式与两离散随机变量之间的平均互信息的表达式不但相类似，而且具有相同的性质。 两连续型随机变量之间的平均互信息有下述特性： 1非负性: I(X;Y) 0 2对称性(交互性): I(X;Y) = I(Y;X) 3凸状性: I(X;Y)是p(x)的上凸函数，又是p(y|x)的下凹函数 4信息不增性：xyz I(X;Z) I(X;Y) 5坐标变换平均互信息的不变性：I(S;Z) = I(X;Y),信源:S,变换:X,传输:Y,信宿:Z,连续信道平均互信息的特性 I(X,Y)与I(Xi,Yi)的关系:,若平稳连续信源是无记忆的： I(X,Y) i I(Xi,Y
7、i) 若多维连续信道是无记忆的： I(X,Y) i I(Xi,Yi) 若平稳连续信源是无记忆的，多维连续信道也是无记忆的： I(X,Y) = i I(Xi,Yi),6. 8 连续信道和波形信道的信道容量,噪声形式不同，信道带宽以及对信号的各种限制不同， 信道容量不同。 一般多维连续信道的信道容量为： C=maxp(x)I(X;Y) = maxp(x)h(Y)-h(Y|X)若信道为加性信道，有： C= maxp(x) h(Y)-h(n) 一股波形信道的信道容量为：Ct=maxp(x) limTI(X;Y)/T= maxp(x) limTh(Y)-h(Y|X)/T (比特/秒)若信道为加性信道，有
8、： C= maxp(x) limTh(Y)-h(n)/T,6.8.1 单符号高斯加性信道,设信道迭加的噪声n是均值为零，方差为2的一维高斯噪声，则噪声信源的熵为： h(n) = log (2e2) 得高斯加性信道的信道容量为： C= maxp(x) h(Y) - log (2e2) 当信道输出信号Y的平均功率限制在Po以下时，若Y是均值为零的高斯变量，其熵h(Y)为最大。因此，得平均功率受限高斯加性信道的信道容量(每个自由度)为：,单符号高斯加性信道的信道容量C只取决于信道的功率信噪比。,Ps是输入信号X的平均功率，Pn=2 是高斯噪声的平均功率,只有当信道的输入信号是均值为零，平均功率为Ps
9、的高斯分布变量时，信息传输率才能达到这个最大值,6.8.2 单符号非高斯加性信道 噪声功率高斯信道信息传输率小于高斯信道,6.8.4 多维无记忆高斯加性连续信道 无记忆,高斯白噪声加性信道单位时间的信道容量：,6.8.5 高斯白噪声加性波形信道,高斯白噪声加性波形信道是经常假设的一种波形信道。 设信道带宽为W，输入为x(t)、输出为y(t) ，信道噪声n(t)是均值为零、功率谱密度为N0/2的加性高斯白噪声。当抽样频率为2W时，每个连续信源的平均信号功率为： PsT/2WT Ps/2W,当信道输入信号是平均功率受限的高斯信号时，信息传输率才达到此信道容量。,噪声功率为： Pn N0WT/2WT
10、 N0/2信道容量为：,PsT是在T时间内输入信号X的总功率，2WT是T时间内的样本数,W Ct。当W大到一定程度后， Ct趋于一个常数：,例64 在许多电话信道中允许多路复用。一般电话信号的带宽为3300Hz。若信噪功率比为20dB(即Ps/(NoW)=100)，代入上式计算得电话信通的信道容量为22000比特秒。而实际信通达到的最大信道传输率约为19200比特秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。,6. 9 连续信道编码定理,香农第二定理对连续信道也同样成立。只是和研究信道容量一样，还必须对输入信源加以某些限制条件，才能建立编码定理。由信道编
11、码定理得知，连续信道的信道容量C同样是连续信道中可靠通信的最大信息传输率。 定理6.1 对于限带高斯白噪声加性信道，噪声功率为Pn，带宽为W，信号平均功率受限为Ps，则 ：(1)当RC对，总可以找到一种信道编码在信道中以信息传输率R传输信息，而使错误概率任意小。 (2)当RC时，找不到一种信道编码，在信道中以R传输信息而使错误概率任意小。 由连续信道编码定理可知，香农公式对实际通信系统有着十分重要的指导意义。香农公式给出了达到无错误(无失真)通信传输速率的理论极限值，称为香农极限。,香农极限： 表明,若传输时间T固定，则扩展信道的带宽W就可以降低信噪比的要求；反之，带宽变窄，就要增加信噪功率比
12、。也就是说，可以通过带宽和信噪比的互换而保持信息传编率不变。 如果信噪功率比固定不变，则增加信道的带宽W就可以缩短传送时间了，换取传输时间的节省；或者花较长的传输时间来换取频带的节省。也就是实现频带和通信时间的互换。 如果保持频带不变，我们可以采用增加时间T来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠更加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。,小 结,一、连续信源的差熵,二、多维连续平稳信源的差熵,三、波形信源的差熵,四、均匀分布连续信源的熵(取值区间a,b),五、均匀分布N维连续信源的熵(取值区间a1,b1, aN,bN),六、高斯信源的熵（XN（m, 2 ）,七、N维高斯信源的熵（XN（mi, 2 ）,八、多维连续平稳信源的最大差熵（协方差矩阵受限）,九、熵功率不等式,十、差熵因坐标变换的变化,十一、加性信道,单符号连续信道平均互信息,多维连续信源的平均互信息,波形信道信息传输率,连续信道平均互信息的特性,十一、信道容量,单符号高斯加性信道,单符号非高斯加性信道,多维无记忆高斯加性连续信道,多维有记忆高斯加性连续信道,信息传输定理,
