《信息论基础与编码课后题答案(第三章)》由会员分享，可在线阅读，更多相关《信息论基础与编码课后题答案(第三章)（9页珍藏版）》请在金锄头文库上搜索。
1、3-1 设有一离散无记忆信源，其概率空间为 ，信源发出符号通过12()0.64XxP一干扰信道，接收符号为 ，信道传递矩阵为 ，求：12,Yy5134（1） 信源 中事件 和 分别含有的自信息量；X1x2（2） 收到消息 （j1，2 ）后，获得的关于 （i 1 ，2）的信息量；yx（3） 信源 和信宿 的信息熵；Y（4） 信道疑义度 和噪声熵 ；(/)HX(/)YX（5） 接收到消息 后获得的平均互信息量 。;I解：（1） 12()0.73,()1.3IxbitIxbit（2） ， ， ，;4y;6y21(;).63Ixybit(;).9Ixit（3 ） (0.6,).971/HXbitsym
2、ol)4Y（4 ） (.5,.,3).685/itsybl/)1.6809714/HXbitmol(4/Ybitsyol（5 ） ;).25/I itsyl3-2 设有扰离散信道的输入端是以等概率出现的 A、B、C 、D 四个字母。该信道的正确传输概率为 0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为 0.21 比特。证明：信道传输矩阵为：，信源信宿概率分布为： ，126162P 1(),4PXYH(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/ 符号）3-3 已知信源 包含两种消息： ，且
3、，信道是有扰的，X12,x12() /Px信宿收到的消息集合 包含 。给定信道矩阵为： ，求平均互信Y12,y0.98.息 。(;)I解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。3-4 设二元对称信道的传递矩阵为： ，213（1） 若P(0)= ，P(1)= ，求 ， ， 和 ；341()HX(/)Y(/)HX(;)IY（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit
4、/符号），H(Y)=0.98 （bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X ；Y)=0.06（bit/符号）；（2）C0.082（bit/符号），最佳输入分布为： 12XP3-5 求下列两个信道的信道容量，并加以比较：（1） （2） p 0p其中 。解：（1） log2(,2)(1)log(2)log4)l (12)l()2log4oglCHpp（2）2log(,2)(1)log(2)log1)l (12)l()2logllCHpp两者的信道容量比较： 21C3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。并求当 和 时的信
5、道012容量C 。0012121 XY题图 3-6解：由图知信道转移矩阵为：，此信道非对称信道，也非准对称信道，不能利用其公式计算。10P此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵，又rs，则可利用方程组求解：，所以3311(/)(/)log(/),12,3jijjijijPbaPba 230()()l()log解得： ， ，所以1023(1)l()log，loglj HC， ， ，1()Cpb2()()CHpb3()2CHpb根据 ，得最佳输入分布为：31/,1,3jijiiPaP， ，1()2Cpab ()2323()()HCpapb当 0时
6、，此信道为一一对应信道，；1231log3,()()Cpapa当 0.5时， 。1231log,)(4pa3-7 有一个二元对称信道，其信道矩阵为 。设该信道以 1500 个二元符0.98号每秒的速率传输输入符号。现有一消息序列共有 14000 个二元符号，并设在这个消息中，。问从信息传输的角度来考虑，10 秒内能否将这消息序列无失真地传(0)1/2P送完？解：信道容量：C0.859（bit/符号）， ，10秒内最150.8912(/)tCbits大信息传输能力12880 bits，消息序列含有信息量14000 bits，1288014000，所以10秒内不能将这消息序列无失真地传送完。3-8
7、 有一离散信道，其信道转移概率如题图3-8 所示，试求：（1） 信道容量C；（2） 若 0，求信道容量。2001 112122题图 3-8解：（1） 1121212()loglog()log()C （2）若 ，则203-9 设离散信道矩阵为：，136P求信道容量C。解：C0.041（bit/符号）。3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。试求：01011 / 21 / 21 / 43 / 4题图 3-10（1） 信道容量 ；1C（2） 若将两个同样信道串接，求串接后的转移概率；（3） 求串接后信道的信道容量 。2答案：（1）此信道转移概率矩阵 ，信道容量 0.0487
8、 bit/符号；134P1C（2）串接后的转移概率矩阵 ；5816（3）串接后信道的信道容量 0.0033 bit/符号。2C3-11 设有一离散级联信道如题图3-11 所示。试求：0x1x0y1y0z12z13434题图 3-11（1） 与 间的信道容量 ；XY1C（2） 与 间的信道容量 ；Z2（3） 与 间的信道容量 及其输入分布 。3()Px答案：（1） 1()CH（2） 0.75 （bit/符号）C（3）X、Z间信道转移概率矩阵为 31310()1444()它是准对称信道，当输入等概率分布时达到信道容量。 0.5,0.5()px3331.06()log(1)log44C3-12 若有
9、两个串接的离散信道，它们的信道矩阵都是：，01201P并设第一个信道的输入符号 是等概率分布，求 和 并加1234,Xa(;)IXZ(;)IY以比较。解：串接后信道矩阵为 00011122002P， 比特/符号1(),84pY(;)(/)1.5IXYHYX， 比特/符号2ZZZ可见， (;)(;)II3-13 若 ， ， 是三个随机变量，试证明：XY（1） ；;(;)(;/)(;)(;/)IZIIXZYIIXYZ（2） ；/ /H（3） ,当且仅当（ ）是马氏链时等式成立。;0IXY， ，3-14 若三个离散随机变量有如下关系： ，其中 和 相互独立，试证明：XYZ+XY（1） ；(;)()I
10、Z（2） ；(;)(IXYZH（3） ；)（4） ；;/(I（5） 。/)(/)XYZHYZ3-15 把 个二元对称信道串接起来，每个二元对称信道的错误传递概率为 。证明这n p个串接信道可以等效于一个二元对称信道，其错误传递概率为 。并证明：1(2)n，设 ，信道的串接如题图3-15 所示。0lim(;)nnI01p或二元对称信道 1二元对称信道 n二元对称信道 21X0X2XnX. . .题图 3-15证明：当 1时， ，当 2时，n1pPn，错误传递222 11()()1pppPp 概率为： 。当考虑三个二元对称信道串接，得2()2323311()1()11()2()2pppPpp 用数
11、学归纳法可证明： 11(2)()2nnnppP 3-16 有一信源发出恒定宽度，但不同幅度的脉冲，幅度值 处在 和 之间。此信x1a2源连至某信道，信道接收端接收脉冲的幅度 处在 和 之间。已知随机变量 和 的y1b2XY联合概率密度函数 2121()(pxa试计算 ， ， 和 。()HX(YX;IY答案： ，2121)bpxyda2121()()apyxdb， ，2()log(a2(logHYb21log()log()HXYab。X与Y统计独立。;0I3-17 设某连续信道，其特性如下： 2()1(/)exp(,)3ypyxxy而信道输入变量 的概率密度函数为：X21()exp42px试计算
12、：（1）信源的熵 ；（2）平均互信息 。H(;)IXY答案：（1）X是正态分布的，均值为零，方差为 。2221()loglog4ee（2）221;()/)llog314log3IYHYXe=0.208 比特3-18 设加性高斯白噪声信道中，信道带宽为3 kHz，又设 （信号功率噪声功率）/噪声功率 10 dB。（1）试计算该信道传送的最大信息率（单位时间）；（2）若功率信噪比降为 5 dB，要达到相同的最大信息传输率，信道带宽应是多少？解： （1），即： ，又已知信道带宽为3KHz，由香农公式得：0lg0snPdB10snP，此即为信道传送的最大信息率。3log19.610(/)snPCWbi
13、ts（2）若 ，即 ，此时要达到相同的最大信息传输率，设带宽为0l5sndBsn，由香农公式得： ，1 31log9.610(/)snPCbits计算得： 。14.8()WkHz3-19 设电话信号的信息率为 56 kbit/s，在一个噪声功率谱为 、0N651/mWHz限频F 、限输入功率P的高斯信道中传送，若F4 kHz，问无差错传输所需的最小功率P是多少W？若 ，则P是多少 W？解：（1） 0.328（2） 419logtCNe3-20 在图片传输中，每帧约有 个像素，为了能很好地重现图像，需分16个62.510亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30 dB）。解： 比特/秒68302.51log.7R， Hz8,(0)2.1SNCW72.10W
