《信息论第2章作业》由会员分享，可在线阅读，更多相关《信息论第2章作业（20页珍藏版）》请在金锄头文库上搜索。
1、第2章作业1 同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？2 居住在某地区的女孩中有25%是大学生，在大学生中有75是身高。6以上的,而女孩中身高1.6米以上的占总数一半.假如我们得知“身高.6米以上的某女孩是大学生”的消息，问获得多少信息量？解： 信息量:比特3 设离散无记忆信源,其发出的消息为(2321230），求（1） 求每个符号的自信息量;（2） 若信源发出一消息符号序列为(22 12013 1 001 203 10 110 321 0 02 032011 223 210)，求该消息序
2、列的自信息量及平均每个符号携带的信息量.4 有一信源输出X0,1，其概率为p0=/4，p1/4，p22。设计两个独立实验去观察它，其结果为Y10，1和0,1。已知条件概率为P（Y1X）01P（Y2X)0110001011021/21/2201求：1) (X；Y1）和I（X；Y)，并判断哪一个实验好些。2) I（;Y1,Y2)，并计算做Y和Y两个实验比做Y1或Y中的一个实验各可多得多少关于X的信息。3) I(；12)和I（;2/Y1）,并解释它们的含义。解：(1) 类似的 =。5bt/sym I(X;Y）=0.5bisym 0 bity I(X;Y1） =1bt/sym I（X；1）I(X;Y2
3、），,故第二次试验更好,因为获得的信息量更多。（2)因为Y和Y2相互独立 类似地得出Y和Y2的联合概率分布由P（Y1Y2）=（）(YYX)= P（) P（Y1X) P（Y2X)，得出和1Y的联合概率分布1Y00 11Y2 011Y1和的联合概率分布2X和Y1Y2的联合概率分布 4log=bt/sym =lo=tsy=(,，）1.bt/sm =15+-2=1。5it/sy- I(X;)1。-051 bit/symI（X;Y2）=150.5 t/sy故做Y1和2两个实验比做或2中的一个实验各可多得bi/sym和0。5 bi/y。（）- = =5iym同理,得出=1i/sm结果说明，在做完实验Y或2
4、的条件下再做第二个实验,并没有获得更多的信息,因为Y1和Y2相互独立，没有任何关联. 5 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表，01代表,1代表C,11代表D.每个二元码脉冲宽度为5ms。（1） 不同字母等概率出现时，计算传输的平均信息速率?（2） 若每个字母出现的概率分别为A=15，B=1/，pC/4，pD=/10,试计算传输的平均信息速率?（1） 因为A,C，四个字母,每个字母用两个码,每个码为5m， 所以每个字母用10s 当信源等概率分布时，信源熵为（X）=lo（4)2 平均信息传递速率为2bit20bit/ （)信源熵为 H（X)
5、 传输的平均信息速率为=。18bms=198bit/s6 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用515个像素和10个不同亮度电平，设每秒要传送3帧图像,所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。(2)设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有0个不同的色彩度,试证明传输这彩色系统的信息率要比黑白系统的信息率大约.倍.解：(1)需要105个像素和1个不同亮度电平，则可能出现的不同画面为每个画面等概率出现，=1每帧图像的熵 （）= Lo(）=5og1=。6比特传送此图像所需的信息率： 30H(X)498比特/
6、秒（2)彩色系统,要求三十个不同色彩度，则有可能出现的不同画面为每个画面等概率出现，P1/每帧图像的熵 （X）=Lg()5og 传送此图像所需的信息率: 3H（X）=。34比特秒 故传输这彩色系统的信息率要比黑白系统的信息率大约.倍。7 设有一个信源,它产生、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P（0）04,P（1）=0。6概率发出符号。（1）试问这个信源是否平稳的？（)试计算H（),H（X3/1 X2)及HN(X)。(）试计算H（）并写出信源中可能有的所有符号.解：(1) 这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号”（2）（3）8
7、 给定语声样值X的概率密度为求HC（X),并证明它小于同样方差的正态变量的微分熵。解： =（奈特/符号）同样方差的正态变量的微分熵 （X）HC(X） H（X),故证明HC（X)小于同样方差的正态变量的微分熵9 设两连续随机变量X和Y，它们的联合概率密度是均值为零,协方差矩阵为C的正态分布,在下列几种情况下，计算I(X；Y）：（1)r1;(）r=0；(）r1.10.若有二个串接的离散信道，它们的信道矩阵都是设第一个信道的输入符号Xa1，a,a3，4是等概率分布，输出符号用表示。第二个信道输出用表示。求I（;）和I(X；Y),并加以比较。解:11.有一个一阶平稳马尔可夫链1，X2,Xr，各X取值于
8、集合Aa，2,a。已知起始概率p（Xr）为p1=2,p2=p3=1/4,转移概率如下。 1211/141/422/301/33231/30(1)求（X1，X2，X）的联合熵和平均符号熵.（2）求这个链的极限平均符号熵。（3)求0,H,H2和它们所对应的冗余度. 11.设有一个马尔可夫信源,它的状态集为s，s2,3，符号集为1，a3,及在某状态下发符号的概率为P（a/i）(，k1，2，3）,如图所示。 a3:1/2a2:1/2a1:1a3:1/4a2:1/4a1:1/2S1S2S3（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率.（2）计算信源处在某一状态下输出符号的条件熵H(X/=
9、j)(=s1,s2,s3）。（）求出马尔可夫信源熵. 12。黑白气象传真图的消息只有黑色和白色两种,即信源X黑,白，设黑色出现的概率(黑)=0。3，白色出现的概率P(白）=0。7。 （1）设图上黑白消息出现前后没有联系,求熵H（X）； (2)假设消息出现前后有关联，其依赖关系为P（白/白)=0。9,P（黑/白）=0。1,P(白/黑)。2,P(黑/黑）=0.8，求此一阶马尔可夫信源的熵H2； （3)分别求上述两种信源的剩余度,并比较H（X)和H的大小,并说明其物理意义.解:(） (） =0。553bit/symbol（3） 信源一的冗余度 R=1=1-= 信源二的冗余度 2=0 H(X）H2， 表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。321设有二个离散信道,其分别输入为X1和X2,输出为Y1和2,对应这二个信道的传递概率为p(/x)和p2(x）,如图3.所示.其X1和X的概率分布分别为P（x） 和P2(x）。 图3.9 题31的信道文中如有不足，请您见谅！ /
