10-11第二学期信息论作业题参考答案

《10-11第二学期信息论作业题参考答案》由会员分享，可在线阅读，更多相关《10-11第二学期信息论作业题参考答案（13页珍藏版）》请在金锄头文库上搜索。

1、11第1讲2、信息论创始人是谁？香农。3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。4、通信系统的主要性能指标是什么？有效性、可靠性和安全性。5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提高，信息处理领域的信号重建和模式识别等。2.4 （求车牌自信息量

2、）某车牌号的概率是(1/26) 3(1/10)3，24bit/ 牌，后一种概率为(1/36) 6，31bit/牌，第2讲设二元对称信道的传递矩阵(条件概率矩阵)为 31若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(Y), H(X/Y), H(Y/X)和 I(X;Y)；先求 P(Y)=XP(XY)和 P(XY)=P(X)P(Y|X)，再得各种熵和互信息。H(X)=H(3/4,1/4),H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6);H(X/Y)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)； 或 H(Y/X)=P(X=a)

3、H(Y/a)=H(3/4,1/4)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)；2.2（求条件信息量）1.6米以上女孩是条件，某个1.6 米以上的女大学生是概率事件，得条件概率为：P=0.250.75/0.5=0.375=3/8，信息量为I= -log0.375=1.42比特。2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出 X、Y、Z 、XZ、YZ、XYZ 的概率或联合分布，再求其熵。如：P(Z=XY=0)=1-P(XY=1)=7/8，P(ZX=1)=P(YX=1)=1/8,.22(2)思路：通过X、Y 、Z 及其联合概率分布求X/Y

4、等条件概率分布P(X/Y)=P(XY)/P(Y)，再求其熵H(X/Y)=P(Y=b)H(X/b)。或根据H(X/Y)=H(XY)-H(Y)从联合熵计算条件熵。P(xyz)联合概率分布如下ZXY 00 01 10 110 1/8 3/8 3/8 01 0 0 0 1/8P(xz)联合概率分布如下ZX 0 10 1/2 3/81 0 1/8P(yz)联合概率分布如下ZY 0 10 1/2 3/81 0 1/8第 3 讲2.10 （3） （由联合概率分布求平均互信息和条件互信息）通过H(X;Y)=H(X)-H(X|Y)，H(X;Y|Z)=H(X|Z)-H(X|YZ)和H(X|Y)=H(XY)-H(Y

5、)关系式求各种互信息量2.12，X表示天气情况，Y表示天气预报，0表雨，1表无雨。求1）准确率（提示P(00)+P(11)=12/16） ，2) 从预报得到的信息量I(X;Y)（X(0)=3/16，X(1)=13/16，Y(0)=11/16，Y(1)=5/16 ） ，3) 总是报无雨时的准确率和预报信息量（提示，Y(0)=0， Y(1)=1；准确度 =13/16，I(X;Y)=0） 。2.14（由X概率分布和条件概率分布求互信息和条件互信息）先求联合概率分布p(xy 1y2)= p(x)p(y1y2|x)， 如 p(y1y2|x)= p(00|0)=1，p(10|1)=1，p(11|2)=1/

6、2 ，p(01|2)=1/2，余为0。再通过以下公式求各个互信息和条件互信息：不用H(X;Y)=H(X)-H(X|Y)，H(X;Y|Z)=H(X|Z)-H(X|YZ)和H(X|Y)=H(XY)-H(Y)使用H(X;Y|Z)=H(X;YZ)-H(X;Z)P(xy1y2)联合概率分布如下xy1y2 00 01 10 110 1/4 0 0 01 0 0 1/4 02 0 1/4 0 1/4I(X;Y1)=0.5；I(X;Y2)=1;I(X;Y1Y2)=H(X)+H(Y1Y2)-H(XY1Y2)=1.5+2-2=1.5I(X;Y1|Y2)=I(X;Y1Y2)-I(X;Y2)=.0.5，I(X;Y2|

7、Y1)=I(X;Y1Y2)-I(X;Y1)=.1第4讲1，某l离散无记忆信源只输出n 个符号，则当信源呈（ 等概 ）分布情况下，熵为33最大值（log n） 。2，某连续信源幅度受限，则当信源呈（ 均匀 ）分布情况下，熵为最大值（log（b-a） ） 。3，如果连续随机变量 X的均值为零，平均功率受限于P，则当X服从( 高斯 )分布时、其微分熵达到最大，最大的微分熵为( log )。2e4，设连续随机变量 X的概率密度函数服从均匀分布，求微分熵，并说明大于0 的条件。 其 他01)(: bxabxpX答案： 0)(1-),log(1l)( 大 于时在 XhababXh CbaC 第5讲随机信源

8、如何分类？从消息变量取值的连续性分：离散信源和连续信源从连续信源输出时间上的连续性分：连续信源和波形信源从离散信源的消息序列的长度来分：单符号信源和序列（扩展）信源从离散信源序列之间的有无相关性分：无记忆信源(DMS)和有记忆信源从离散有记忆信源序列的相关程度分：平稳信源、M阶Markov信源、什么是平稳信源、什么是Markov链、齐次Markov链、平稳齐次Markov链、Markov信源？离散平稳信源：各维联合概率分布均与时间起点无关的完全平稳信源Markov链：马氏链是时间离散状态离散的随机过程，马氏链的当前状态只与前一个状态有关齐次Markov链： 状态状态转移概率与时间点无关的Mar

9、kov链平稳齐次Markov链： 状态状态概率分布与时间点无关的Markov链Markov信源：1 ）信源状态由当前输出符号和前一时刻信源状态唯一确定。2 ）某一时刻信源符号的输出只与当前的信源状态有关，与以前的状态无关。M阶Markov信源：某一时刻信源符号的输出只与此前的M个输出有关。举例说明M 阶马氏源的处理方法和状态数目m阶马氏源是指其输出某一符号的概率只与此前的m个符号有关。马氏源可用马氏链来描述。若是一阶马尔可夫信源，一个符号对应一个状态，若是m阶马尔可夫信源，m个符号对应一个状态。设马氏源符号种类N种，则M阶马氏44源状态数为N m。3.3（DMS扩展及熵）说明DMS扩展方法如：

10、二元信源X的符号集为 0,1 ， 求信源的二次扩展模型即是求求信源的二次扩展模型即是求 q2=4个样本的个样本的各自的概率分布各自的概率分布熵值算式利用可加性H(X N)=N1.5bit/符号第6讲3.11（提示求 1阶马氏源2次扩展的熵，求概率分布）先求P(X1X2) ，再求H(X1X2)/2，H(0.3,0.7)=0.88，H(0.63,0.07,0.06,0.24)/2=0.714，3.13（提示平稳马氏源的熵，先求状态平稳分布）先求状态矢量=P及=1，得=15/43,12/43,16/43，H()=1.575，h=1.585,1.5,1.5 ，H(X N)=1.575+(N-1)1.5

11、3=1.53N+0.045是 转 移 矩 阵 每 行 熵 矢 量hHNXT,)1()1)(3.16（提示求 1阶马氏源3次扩展的熵，求概率分布，求极限利用遍历链定理3.26）答：由矩阵P(X2)=P(X1) P(X2/X1)，得各步状态分布，再根据下式求熵H(X1X2X3)=H(X1)+H(X2/X1)+H(X3/X1X2)=H(X1)+H(X2/X1)+H(X3/X2)=1.5+1.21+1.26=3.97 bit；H(X2/X1)=P(X1)h=1/2,1/4,1/41.5,0.92,0.92 T=1.21，H(X3/X2)=P(X2)h=7/12,5/24,5/241.5,0.92,0.

12、92T=1.26。H3(X1X2X3)=1.32 bit/符号求状态矢量=P 及=1 ，得 =4/7,3/14,3/14H(X)=h=4/7,3/14,3/141.5,0.92,0.92T=1.25 bit/符号第7讲5.1差错率高（DF非唯一可译码）A、C、E 为即时码， A/B/C/E是唯一可译码，根据克拉夫特不等式D/F非唯一可译码。A 码的平均码长为3bit/符号，B、C码的平均码长 17/8，E的平均码长为2bit/符号（而F的平均码长为2bit/符号，D的平均码长为31/16bit/符号，都无意义）5.2（提示：列出可编码的N长信源序列样本及其概率）差错率高（组合码数量计算方法和码

13、长）求组合数量：多个信源“正码”加1个“误码” ，得码长log（1+C 3+C2+C1+C0=1+161700+4950+100+1=166752）=17.3 5，取码长18。Pr=0.995970.0053C3+0.995980.0052C2+0.995990.0051C1+0.995100C0=0.01243+0.07572+0.30441+0.60577=0.99833，Pe=1-Pr=1.6710-3555.4第8讲5.7差错率高（码率单位，或方差大）a0、a1、a2、a3、a4、a5、a6和a7分别编3、3、3、3、3和2、4、4位，编码平均码长L=2.7码元/符号，码长方差 =0.

14、41，信源熵 H(X)=2.62，编码效率297.0%， （编码码率R=Llogr=2.7bit/信源符号，信息传输速率R=H(X)/L=0.97bit/码符号）最佳码：异前缀，且平均码长和码长方差最小。5.9信源熵H(S)=2.61bit/符号，剩余度 0.077log)(1SH二进制编码2,2,3,3,3,4,4位，平均码长 =2.72位，编码效率 =0.96三进制编码1,2,2,2,2,2,2位，平均码长 =1.8位，编码效率 =0.915利用自信息方差 计算得1.9310 4 )()1(,)(log271222 XNXpii 第9讲有二元二阶平稳马氏源，已知：p(0/00)=0.8,

15、p(0/01)=0.5, p(0/10)=0.5, p(0/11)=0.2, p(1/11)=0.8, p(1/01)=0.5, p(1/10)=0.5, p(1/00)=0.2。用三个符号合成一个消息来构成一个信源，对该信源进行哈夫曼编码并求其平均码长（提示：先求平稳分布：P= ，再求 p(000)= p(00) p(0/00) 和进行编码） 。，000111概率分别为14572/7、1/14、1/14、1/14 、 1/14、1/14、1/14和2/7位，分别编2、3、3、4、4 、4 、4和2位，平均码长等于19/7=2.76、某一页传真文件的一行像素分布如下: 85白-7黑-33白 -

16、728黑-875白。试确定该行的MH 码和压缩比。85白=64+21 110110010111（12位） ，7 黑00011（5位）33白00010010（8位） ，728黑=704+24000000100101100000010111（24位）875白=832+4301101001000101100（17） ，EOL000000000001 （12位）MH码长 12+5+8+24+17+12=78位；压缩比1728 ：78=22：1。第10讲5.14P1101110011=77/810=0.000767，码长-log 20.000767=10.35，取11位。累积概率P 1=0，P 0=7/8， P110=P11+P0P11=343/512=0.66992P1101