《信息论及编码答案》由会员分享，可在线阅读，更多相关《信息论及编码答案（25页珍藏版）》请在金锄头文库上搜索。
1、.信息论与编码第二版雪虹答案第二章2.1一个马尔可夫信源有3个符号，转移概率为：，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由得计算可得2.2 由符号集0，1组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。解：于是可以列出转移概率矩阵：状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有 得 计算得到2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) 3和5同时
2、出现这事件的自信息；(2) 两个1同时出现这事件的自信息；(3) 两个点数的各种组合无序对的熵和平均信息量；(4) 两个点数之和即2, 3, , 12构成的子集的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1)(2)(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2-42.5 居住*地区的女孩子有25%是大学
3、生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假设我们得知身高160厘米以上的*女孩是大学生的消息，问获得多少信息量？解：设随机变量*代表女孩子学历*1是大学生*2不是大学生P(*)0.250.75设随机变量Y代表女孩子身高Yy1身高160cmy2身高160cmP(Y)0.50.5：在女大学生中有75%是身高160厘米以上的即：求：身高160厘米以上的*女孩是大学生的信息量即：2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1因圆点之和为3的概率该消息自信息量2因圆
4、点之和为7的概率该消息自信息量2.7 设有一离散无记忆信源，其概率空间为 1求每个符号的自信息量 2信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量解：同理可以求得因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：平均每个符号携带的信息量为bit/符号2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0, 1, 2, 3八进制脉冲可以表示8个不同的消息，例如：0, 1, 2
5、, 3, 4, 5, 6, 7二进制脉冲可以表示2个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9 用三个脉冲 用一个脉冲(1) I()= I()(2) H= 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)=P(白)= H(Y)= 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，38的数字标示，其中有两份涂绿色，18份涂红色，18份
6、涂黑色，圆盘停转后，盘面上的指针指向*一数字和颜色。1如果仅对颜色感兴趣，则计算平均不确定度2如果仅对颜色和数字感兴趣，则计算平均不确定度3如果颜色时，则计算条件熵解：令*表示指针指向*一数字，则*=1,2,.,38 Y表示指针指向*一种颜色，则Y=l绿色，红色，黑色 Y是*的函数，由题意可知1bit/符号2bit/符号3bit/符号2.12 两个实验*和Y，*=*1 *2 *3,Y=y1 y2 y3,l联合概率为（1） 如果有人告诉你*和Y的实验结果，你得到的平均信息量是多少？（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？（3） 在Y实验结果的情况下，告诉你*的实验结果，你得
7、到的平均信息量是多少？解：联合概率为 Y*y1y2y3 *17/241/240 *21/241/41/24 *301/247/24 =2.3bit/符号*概率分布*1*2*3P8/248/248/24bit/符号 Y概率分布是 =0.72bit/符号Yy1y2y3P8/248/248/242.13 有两个二元随机变量*和Y，它们的联合概率为Y *1=0*2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = *Y一般乘积，试计算：(1) H(*), H(Y), H(Z), H(*Z), H(YZ)和H(*YZ)；(2) H(*/Y), H(Y/*), H(*/Z), H(Z/*
8、), H(Y/Z), H(Z/Y), H(*/YZ), H(Y/*Z)和H(Z/*Y)；(3) I(*;Y), I(*;Z), I(Y;Z), I(*;Y/Z), I(Y;Z/*)和I(*;Z/Y)。解：(1)Z = *Y的概率分布如下：(2)(3)2-14 (1) P(ij)= P(i/j)=(2) 方法1: = 方法2: 2-15P(j/i)=2.16 黑白 机的消息元只有黑色和白色两种，即*=黑，白，一般气象图上，黑色的出现概率p(黑)0.3，白色出现的概率p(白)0.7。1假设黑白消息视为前后无关，求信源熵H(*)，并画出该信源的香农线图2实际上各个元素之间是有关联的，其转移概率为：P
9、(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。3比拟两种信源熵的大小，并说明原因。解：1bit/符号P(黑|白)=P(黑)P(白|白)P(白) P(黑|黑)P(黑)P(白|黑)P(白)2根据题意，此一阶马尔可夫链是平稳的P(白)0.7不随时间变化，P(黑)0.3不随时间变化0.512bit/符号2.17 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？假设有一个播送员，在约10000个汉字中
10、选出1000个汉字来口述此电视图像，试问播送员描述此图像所播送的信息量是多少假设汉字字汇是等概率分布，并彼此无依赖？假设要恰当的描述此图像，播送员在口述中至少需要多少汉字？解：1)2)3)2.20 给定语音信号样值*的概率密度为,求Hc(*)，并证明它小于同样方差的正态变量的连续熵。解2.24 连续随机变量*和Y的联合概率密度为：，求H(*), H(Y), H(*YZ)和I(*;Y)。提示：解：2.25 *一无记忆信源的符号集为0, 1，P(0) = 1/4，P(1) = 3/4。(1) 求符号的平均熵；(2) 有100个符号构成的序列，求*一特定序列例如有m个0和100 - m个1的自信息量
11、的表达式；(3) 计算(2)中序列的熵。解：(1)(2) (3) 2-26 P(i)= P(ij)= H(IJ)= 2.29 有一个一阶平稳马尔可夫链,各*r取值于集合,起始概率P(*r)为，转移概率如以下图所示 j i1231231/22/32/31/401/31/41/30(1) 求的联合熵和平均符号熵(2) 求这个链的极限平均符号熵(3) 求和它们说对应的冗余度解：1符号*1，*2的联合概率分布为12311/41/81/821/601/1231/61/12012314/245/245/24*2的概率分布为则=1.209bit/符号*2*3的联合概率分布为12317/247/487/482
12、5/3605/1235/365/120则=1.26bit/符号/符号所以平均符号熵符号2设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为由 得到 计算得到又满足不可约性和非周期性/符号(3)/符号 /符号 /符号2-30(1) 求平稳概率 P(j/i)=解方程组得到 (2) 信源熵为: 2-31 P(j/i)=解方程组 得到W1= , W2= , W3= 2.32 一阶马尔可夫信源的状态图如图213所示，信源*的符号集为0，1，2。1求信源平稳后的概率分布P(0),P(1),P(2)2求此信源的熵3近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(*
13、)并与进展比拟解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W1,W2,W3 得到 计算得到由齐次遍历可得符号 由最大熵定理可知存在极大值或者也可以通过下面的方法得出存在极大值: 又所以当p=2/3时0p2/3时2/3p1时所以当p=2/3时存在极大值,且符号所以2-33 (1)解方程组: 得p(0)=p(1)=p(2)=(2)(3)当p=0或p=1时 信源熵为0练习题：有一离散无记忆信源，其输出为，相应的概率为，设计两个独立的实验去观察它，其结果分别为，条件概率:P(y1|*)01012101/2111/2P(y2|*)01012110001(1) 求和，并判断哪一个实验好些(2) 求，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于*的信息(3) 求和，并解释它们的含义解:(1)由题意可知 Y1*01
