第8章网络信息理论简介讲义

《第8章网络信息理论简介讲义》由会员分享，可在线阅读，更多相关《第8章网络信息理论简介讲义（51页珍藏版）》请在金锄头文库上搜索。

1、8 网络信息理论简介,8.2 网络信道的分类 8.3 网络信道的信道容量域 离散多址接入信道 高斯多址接入信道 8.4 网络中相关信源的信源编码 相关信源编码 具有边信息的信源编码,8 网络信息理论简介,单用户通信系统：只有一个输入信源和一个输出信源，单向通信。 多用户通信系统：信道的输入端和输出端涉及到两个或两个以上的信源和信宿，双向通信。 网络信息论：还有许多未解决的问题，至今没有一套完整的网络信息理论。即使将来能够发现，也可能因为太复杂而不能实现。研究的目的在于可告诉通信设计者距离网络最优化多近，也可启发设计者获得提高通信性能的途径。,网络信息论研究的主要内容： 网络信道的信道容量。这种

2、信道的容量不能简单地用一实数表示，可传输的信息率也不能用正实轴上一个区间来代表，而需用多维空间中的一个区域来表示。 网络信道编码定理。即证明在上述网络信道容量范围内，一定有一种编码方式，能够可靠地传输信息。 相关信源的信源编码问题。研究相互关联的多个信源进行无失真和有失真编码时的可达速率区域。,8 网络信息理论简介,（1）多址接入信道(MAC)： 多个信道输入信号，可供多个信源同时接入，但只有一个信道输出信号。 如卫星上行、移动上行、光纤上行；CDMA、TDMA,8.2 网络信道的分类,(2)广播信道：单一输入端口和多个输出端口 与一般的广播概念不同的是，各信宿要接收的信息并不一定相同。 如卫

3、星下行、CATV、移动下行,8.2 网络信道的分类,（3）中继信道：可以看成广播信道和多址接入信道的组合，是一对用户之间经过多种途径中转所进行的单向通信。一个输入信号和一个输出信号。 如中继微波接力系统、一对地面站可经一个或多个卫星中转或者经地面通信转接而实现单向通信。,8.2 网络信道的分类,信源,中继点,信道,译码器,X,Y1,X1,Y,信道,信道,（4）双向信道：在同一端既有发送，又有接收 许多实用信道本质上都是双向信道。,8.2 网络信道的分类,（5）多端网络：由多个信源和多个信宿经过多个信道组成 ，一般要用图论方法研究。,8.2 网络信道的分类,为了信息的可靠传输，各发送者不但要克服

4、信道噪声，而且还要克服各发送端彼此之间的串扰。,8.3 网络信道的信道容量域,8.3.1 离散多址接入信道,使 Pe 0的速率对 (R1,R2) 称为可达速率对，所有可达速率对的集合称为多址信道的信道容量域。 定理： 二址接入信道 X1X2,P(y|x1x2),Y的容量区域，由满足下述凸壳的闭包给定 其中 , C(P1,P2) 是在乘积空间X1X2上，对所有可能的输入概率分布求得的可达速率对(R1,R2)的集合。,8.3.1 离散多址接入信道,8.3.1 离散多址接入信道,B点：发送者2不传送任何信息时，发送者1可传送的最大信息率。 此时发送者 1 可传送的信息率 大于单用户的情况,8.3.1

5、 离散多址接入信道,D 点：发送者1以最大的信息传输率发送时，发送者2能够发送的最大信息传输率。 该值是在信道中将X2传送到Y，而把X1看作为噪声而求得的。此时，相当于X2以信息率 I(X2;Y) 在单用户信道中传输的结果。 因为 I(X2;Y)=I(X1,X2;Y)-I(X1;Y/X2)，所以，当接收端知道X2的码字也在发送时，就要在信道传输的结果中将X2的码字“减”出来。 区域中的点 A，C和B，D点有相似的含义。,当给定某个输入分布 ，可得某区域C(P1 , P2)；不同的输入分布可得不同的区域。因此二址接入信道的容量区是所有可能C(P1 , P2) 的凸闭包，是一个多角形的凸包。,8.

6、3.1 离散多址接入信道,上述结论很容易推广到 T 个独立发送端的一般情况。已知条件概率 P(y/x1x2xT)，此时各发送端可达速率范围为,8.3.1 离散多址接入信道,例8.1 二址独立的二元对称信道的容量区域，发送者X1和发送者X2，接收端Y。,8.3.1 离散多址接入信道,计算得C1=1H(p1), 此时p1(0)=p1(1)=1/2, p2(0)+p2(1)=1； C2=1H(p2)，此时p2(0)=p2(1)=1/2, p1(0)+p1(1)=1 。 因为这两信道是互相独立的，没有彼此干扰，所以C12=2-H(p1)-H(p2)，此时p1(0)=p1(1)=1/2, p2(0)=p

7、2(1)=1/2。,例8.1解：,例8.2 二址接入二元和信道 Y=X1 + X2,各信源来的信号在接收端相加，并受加性高斯噪声 ( 均值为零，方差为 ) 的干扰。 信道输出 二址(m=2)时，X1、X2与Z相互独立,8.3.2 高斯多址接入信道,信号平均功率受限： 可达速率区是满足下式的凸闭包：,8.3.2 高斯多址接入信道,8.3.2 高斯多址接入信道,在平均功率受限的情况下，正态分布时熵最大 即只有当输入 ，并且互相独立时上式才能达到极大值。,8.3.2 高斯多址接入信道,任意分布，,8.3.2 高斯多址接入信道,高斯二址接入信道的可达容量域,8.3.2 高斯多址接入信道,凸五边形： B

8、点是发送者 1 能传送的最大信息传输率C1； D点是发送者1传送最大信息率C1情况下，发送者2所能传送的信息率C12C1。这时发送者1被看成噪声，计算输出Y与X2之间的互信息得,8.3.2 高斯多址接入信道,在高斯信道下，可把译码考虑成两步： 接收端将发送端1看成噪声的一部分，先将发送端2的码字译码出来。若 译码错误概率可达任意小。 将已成功译出的发送端2“减”去，若 则发送端 1 的码字能成功译出。 所以，容量区域中各个角点的速率对是可达的。,8.3.2 高斯多址接入信道,在许多实际情况中，常采用时分多路通信方式。但该方式不是最佳的方案。若两发送端各占一半的传送时间，可达容量区域是 AB 连

9、线所围的区域。,8.3.2 高斯多址接入信道,若设在总传送时间 T 内，QT用来传送X1，(1- Q)T 用来传送X2，其中 。那么在传送 X1时， ；在传送 X2 时， 。若保持平均功率不变，则传送 X1 时功率可以提高到 ，而 X2功率可提高到 。可得,8.3.2 高斯多址接入信道,8.3.2 高斯多址接入信道,Q 不同时，得到不同的 (R1,R2)，即曲线 AEB 所决定的区域。显然，除了 Q =1，Q=0 和 Q = 即 B,A,E 三点外，其它情况都在容量界线 ( 截角矩形 ) 之下。可见在时分方式下，C,D 对应的速率对是达不到的。,对于频分多路通信方式，每个发送者的传输速率依赖于

10、所允许传输的带宽。考虑信号功率分别为 PS1和PS2的二个发送端，所占带宽为 W1和W2。这两带宽不重叠，且总带宽 W=W1+W2。令Q =W1/W是发送者 1 所占带宽比，(1-Q)=W2/W是发送者 2 所占带宽比，可达速率对是,将Q和（1Q）代入，可得,改变W1和W2( 即 Q 不同时 ) 的可达速率区,在相同的平均功率约束下，时分多址和频分多址可达到的信息传输速率均小于理论给出的容量域。但适当设计时隙分配或带宽分配的比例，时分多址和频分多址都可使速率达到理论容量域所给的最大值，即E点。 码分多址技术中所有信道输入信号都占用信道的全部带宽和时间，各信号间不存在时隙分配或带宽分配问题。因此

11、，码分多址的可达速率域与理论容量域一致。在这一意义上，我们认为码分多址是比较理想的方式。,8.3.2 高斯多址接入信道,高斯多址接入信道,各占一半时间的时分多址 Q比例的时分多址和频分多址 码分多址,8.4 网络中相关信源的信源编码,研究多个相关信源的编码问题; 在实际通信中，常常某个信宿收到来自不同源的编码信息。 各信源独立：分别处理，单信源通信； 各信源相关：各种相关信源编码模型。,两个信源和两个译码器之间可有16种不同的联接方式,两个相关信源编码的最基本结构：两个信源均为离散无记忆信源。,采用一个编码器： 对于单个信源U进行编码，传输信息率需满足RH(U)，才能实现无失真编码； 对于两个

12、信源U1和U2联合编码，传输信息率需满足RH(U1,U2)，才能使译码错误概率为任意小。,采用二个独立的编码器： R1H(U1), R2H(U2) R=R1+R2=H(U1)+H(U2) 二个信源相关：R=? RH(U1,U2),例8-4 设信源U0和U1相互独立， 若U2=U0U1，则 H(U1)=H(U2)=1 bit/sym H(U2/U1)=H(U0)=0.5 bit/sym 因此，在已知X的情况下，要确定U2只需0.5 bit，而不需1 bit，因为U1与U2有关联性，已知U1时，已提供了一些关于U2的信息量，因此只需再获得H(U2/U1)的信息量，就能完全确定U2。,边信息,由此可

13、见，编码时只需保证： R1 H(U1)，R2H(U2/U1)，RH(U1)+H(U2/U1)=H(U1,U2) 这种U1所能提供关于U2的信息，或U2所能提供关于U1的信息，称为边信息。,相关信源编码定理(Slepian-Wolf)： 对于任意离散无记忆信源X1和X2，所有的可达速率对(R1,R2)满足,相关信源编码逆定理：如果速率对(R1,R2)不满足上式，则无论n多大，平均译码错误概率Pe。,8.4.2 具有边信息的信源编码,若两个信源U1和U2之间统计相关，且两个信源之间有相互通信联络。由于有了边信息(side information)，这样协同编码应该比单独编码更有效。,具有边信息信源编码定理：信源U1以速率R1编码，信源U2以速率R2编码，对于离散无记忆信源U1，若译码器含有来自信源U2的边信息，则当且仅当 存在无失真信源编码，使其译码错误概率为任意小。其中 Z 为离散随机变量，它使U1U2Z构成马氏链。,第8章复习,8.2 网络信道的分类 8.3 网络信道的信道容量域 离散多址接入信道 高斯多址接入信道 8.4 网络中相关信源的信源编码 相关信源编码 具有边信息的信源编码,离散多址接入信道,高斯多址接入信道,时分多址 频分多址 码分多址,相关信源编码,两个相关信源无失真编码速率域,二址接入信道容量域,多址接入信道的信道容量区域,相关信源的可达速率区域,