《信息论与编码-曹雪虹-课后习题答案》由会员分享，可在线阅读，更多相关《信息论与编码-曹雪虹-课后习题答案（56页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码曹雪虹课后习题答案第二章21一种马尔可夫信源有3个符号，转移概率为：，,，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为:设状态u，u2，u3稳定后的概率分别为W1,W2、W由得计算可得2.2 由符号集0，1构成的二阶马尔可夫链,其转移概率为:=0.8，0.2，0.2,0.8，=5,=.5，=.5，=0.5。画出状态图，并计算各状态的稳态概率。解： 于是可以列出转移概率矩阵：状态图为: 设各状态00,0,0，1的稳态分布概率为W,W2,3,W4 有得 计算得到. 同步掷出两个正常的骰子,也就是各面呈现的概率都为1,求:（1) “和5同步浮现”这事件的自信息;(2) “
2、两个同步浮现”这事件的自信息;(3) 两个点数的多种组合（无序)对的熵和平均信息量；(4) 两个点数之和（即2， 3, , 1构成的子集)的熵；(5) 两个点数中至少有一种是1的自信息量。解:（1)()()两个点数的排列如下:11131415162223242523323334353614243456552555561626364566共有21种组合:其中11，22，33,4，55,66的概率是其她1个组合的概率是(4)参照上面的两个点数的排列,可以得出两个点数求和的概率分布如下:(5)24 5 居住某地区的女孩子有25%是大学生,在女大学生中有75是身高160厘米以上的，而女孩子中身高160
3、厘米以上的占总数的一半。如果我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量?解:设随机变量代表女孩子学历x1（是大学生)x（不是大学生)P（X）0250.75设随机变量Y代表女孩子身高(身高10cm)y2(身高160c）P()0.5.5已知：在女大学生中有75%是身高60厘米以上的即:求:身高160厘米以上的某女孩是大学生的信息量即：. 掷两颗骰子,当其向上的面的小圆点之和是时，该消息涉及的信息量是多少？当小圆点之和是7时,该消息所涉及的信息量又是多少？解：1)因圆点之和为的概率该消息自信息量2）因圆点之和为7的概率该消息自信息量. 设有一离散无记忆信源,其概率空间为
4、(）求每个符号的自信息量 （)信源发出一消息符号序列为202 120130 1301 20 0 321 010 021 32 01 3 20，求该序列的自信息量和平均每个符号携带的信息量解:同理可以求得由于信源无记忆，因此此消息序列的信息量就等于该序列中各个符号的信息量之和就有:平均每个符号携带的信息量为t/符号8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表达4个不同的消息,例如:0,， , 3八进制脉冲可以表达8个不同的消息,例如：0, 1， 2,3,5， , 7二进制脉冲可以表达2个不同的消息,例如:0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平
5、均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量因此:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。-9 “” 用三个脉冲 “”用一种脉冲() I()= I(-)=(2） = 2-0 （2) (黑/黑)= P(白/黑）= H（/黑)= () (黑/白）= P(白/白）= H(Y/白)= (4)P(黑）= P（白） H(Y)= 211 有一种可以旋转的圆盘,盘面上被均匀的提成3份，用1，38的数字标示，其中有两份涂绿色,18份涂红色,1份涂黑色,圆盘停转后，盘面上的指针指向某一数字和颜色。（1)如果仅对颜色感爱好，则计算平均不拟定度（2)如果仅对颜色和数字感爱好，则计算平均
6、不拟定度(3)如果颜色已知时,则计算条件熵解：令X表达指针指向某一数字，则=1,2,.,8 Y表达指针指向某一种颜色,则=l绿色,红色,黑色 Y是X的函数，由题意可知（1)it/符号（2）bit/符号（)bit符号2.2 两个实验和,x12 x3，=y y2 3，l联合概率为（1） 如果有人告诉你和的实验成果,你得到的平均信息量是多少?（2） 如果有人告诉你的实验成果，你得到的平均信息量是多少？（3） 在已知Y实验成果的状况下，告诉你的实验成果，你得到的平均信息量是多少?解:联合概率为 YX1y23 x17/24/20 x2/4141/24 x301/4/24 =2.3it符号概率分布x23P
7、8/28248/4bit符号 Y概率分布是 =0.72bit/符号Yy1yyP8/248/248/2421 有两个二元随机变量X和Y,它们的联合概率为 Xx1=0x2=1y1=01/82=13/818并定义另一随机变量Z = Y(一般乘积),试计算：(1) H(X), (Y), H(Z），（XZ）, H(YZ)和H(XYZ)；(2) H(X/Y), H（YX）， H(/Z)， (Z/X）, H(Y), H(/Y）, H(XYZ), H（YX）和H（Z/XY);(3) I(X；), I(；Z), I（;Z), I(X;/Z), I(;/X)和I(X;Z/Y）。解：(1) XY的概率分布如下：（2
8、）(3）-14 (1) P(ij)= P(i/j) （2) 措施1: = 措施2: 215P（j/i)= 2.1黑白传真机的消息元只有黑色和白色两种，即X=黑，白,一般气象图上,黑色的浮现概率p(黑)0.3，白色浮现的概率p(白)=07。（1）假设黑白消息视为前后无关，求信源熵H（X)，并画出该信源的香农线图(2）事实上各个元素之间是有关联的,其转移概率为：P(白|白)0.914，P（黑|白)0.057,P(白|黑)=.2,(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小,并阐明因素。解:（1)bit/符号P(黑|白）=P(黑)P(白白)=P
9、（白) P(黑|黑)=P(黑）P(白|黑）=(白)（2）根据题意，此一阶马尔可夫链是平稳的(P（白)=0.7不随时间变化,(黑).3不随时间变化).5it符号2.17 每帧电视图像可以觉得是由310个像素构成的，所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概浮现，问每帧图像具有多少信息量?若有一种广播员,在约00个中文中选出100个中文来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设中文字汇是等概率分布，并彼此无依赖)?若要恰当的描述此图像，广播员在口述中至少需要多少中文?解:)2.20 给定语音信号样值X的概率密度为，,求c（X）,并证明它不不小
10、于同样方差的正态变量的持续熵。解:224 持续随机变量X和Y的联合概率密度为：,求(X）, H(Y),H（YZ)和I（X;Y)。（提示：）解： 某一无记忆信源的符号集为, ,已知P() = 1/4，(1) = 3/。(1) 求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列(例如有m个“0”和(10- m）个“1”)的自信息量的体现式;(3)计算(2)中序列的熵。解：(1)(2) () 26 (i） P(i)=H（IJ)29 有一种一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P(X)为,转移概率如下图所示 j i12312122/2/01/31/1/(1) 求的联合熵和平均符
11、号熵(2) 求这个链的极限平均符号熵(3) 求和它们说相应的冗余度解：（1)符号X1,X2的联合概率分布为131/41/1/810131/612121/45/245/24X2的概率分布为那么1.20bit符号X2的联合概率分布为17/4487/825/3605/1236/12那么=12bit/符号符号因此平均符号熵/符号（2）设a1，a2,a3稳定后的概率分布分别为W1，2，W3,转移概率距阵为由 得到 计算得到又满足不可约性和非周期性/符号(3)/符号 符号 /符号 2-30（1） 求平稳概率 (/i) 解方程组 得到（2） 信源熵为: 2-1 P(j）= 解方程组 得到1=, W2= ， = 232 一阶马尔可夫信源的状态图如图2-13所示，信源X的符号集为（0，2）。（1)求信源平稳后的概率分布P（0),P(1),P(2)（2)求此信源的熵(）近似觉得此信源为无记忆时,符号的概率分布为平稳分布。求近似信源的熵H（)并与进行比较解:根据香农线图,列出转移概率距阵令状态0,1，平稳后的概率分布分别为W1,2, 得到 计算得到由齐次遍历可得符号 由最大熵定理可知存在极大值或者也可以通过下面的措施得出存在极大值：又因此当p=/3时0p2/时2/3p1时因此当=2/3时存在极大值,且符号因此2-33 ()解方
