《信息论与编码总答案》由会员分享，可在线阅读，更多相关《信息论与编码总答案（41页珍藏版）》请在金锄头文库上搜索。
1、2.1 一个马尔可夫信源有3 个符号1,23,u u u，转移概率为：11|1/ 2p uu，21|1/ 2p uu，31|0p uu，12|1/3p u u，22|0p uu，32|2/3p uu，13|1/3p uu，23|2/3p uu，33|0p uu，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：1/ 21/ 201/ 302 / 31/ 32 /30p设状态 u1，u2，u3稳定后的概率分别为W1，W2、W3 由 1231WPWWWW得123113223123111233 1223 23 1WWWWWWWWWWWW计算可得1231025 925 625WWW2.2
2、由符号集 0 ，1组成的二阶马尔可夫链，其转移概率为：(0 |00)p=0.8，(0 |11)p=0.2，(1| 00)p=0.2，(1|11)p=0.8，(0 |01)p=0.5，(0 |10)p=0.5，(1| 01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。解：(0 |00)(00 |00)0.8pp( 0 | 0 1)( 1 0 | 0 1)pp(0|11)(10|11)0.2pp( 0 | 1 0 )( 0 0 | 1 0 )pp(1|00)(01| 00)0.2pp(1 | 0 1)(1 1 | 0 1)pp(1|11)(11|11)0.8pp(1|1
3、0)(01|10)0.5ppu1u2u31/21/21/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p状态图为：000110110.80.20.50.50.50.50.2 0.8设各状态00，01，10，11 的稳态分布概率为W1,W2,W3,W4 有411iiWPWW得13113224324412340.80.50.20.50.50.20.50.81WWWWWWWWWWWWWWWW计算得到12345 14 17 1 7 514WWWW2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6 ，求： (1) “3 和 5
4、同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, , , 12构成的子集）的熵； (5) 两个点数中至少有一个是1 的自信息量。 解：(1) bitxpxIxpiii170.4181log)(log)(18161616161)(2) bitxpxIxpiii170.5361log)(log)(3616161)(3) 两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46
5、51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合：其中 11，22，33，44，55，66 的概率是 3616161其他 15 个组合的概率是 18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936
6、586173656915121418133612)(5) bitxpxIxpiii710.13611log)(log)(3611116161)(2-4 2.5 居住某地区的女孩子有25% 是大学生，在女大学生中有75% 是身高 160 厘米 以上的，而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x1（是大学生）x2（不是大学生）P(X) 0.25 0.75 设随机变量Y 代表女孩子身高Y y1（身高 160cm）y2（身高 1(;)I X Y所以第二个实验比第一个实验好（2）因为
7、 Y1和 Y2相互独立，所以1212(| )(| )(|)p y yxp yx p yxy1y200 01 10 11 p 1/4 1/4 1/4 1/4 P(y2|x) 0 1 0 1 2 1 1 0 0 0 1 Y2X 0 1 0 1/4 0 1 1/4 0 2 0 1/2 P(y1y2x) 00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 P(y1y2|x) 00 01 10 11 0 1 0 0 0 1 0 0 1 0 2 0 1/2 0 1/2 121212111(;)(,)(|)log 4log1log12log 2444I X Y
8、 YH Y YH Y YXbit/符号=1.5bit/ 符号由此可见， 做两个实验比单独做Y1可多得 1bit 的关于 X 的信息量，比单独做Y2多得 0.5bit的关于 X 的信息量。（3）12112212212122(;|)(|)(|,)(,)()()(;,)()(;)()(;,)(;,)(;)I X YYH X YH X Y YH X YH XH XI X Y YH XI X YH XI X Y YI X Y YI X Y=1.5-1=0.5bit/ 符号表示在已做Y2 的情况下，再做Y1 而多得到的关于X 的信息量同理可得21121(;|)(;,)(;)I X YYI X Y YI X
9、 Y=1.5-0.5=1bit/ 符号表示在已做Y1 的情况下，再做Y2 而多得到的关于X 的信息量3.1 设二元对称信道的传递矩阵为32 313132(1) 若 P(0) = 3/4, P(1) = 1/4 ，求 H(X), H(X/Y), H(Y/X)和 I(X;Y) ； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbol
10、bitxpXHjjijijijiii/062. 0749.0811.0)/()();(/749.0918. 0980. 0811.0)/()()()/()/()()/()();(/980.0)4167.0log4167. 05833.0log5833. 0()()(4167.032 41 31 43)/()()/()()()()(5833.031413243)/()()/()()()()(/918.010log)32lg32 41 31lg31 41 31lg31 43 32lg32 43()/(log)/()()/(/811. 0)41log4143log43()()(22222121222
11、12212111121112222) 2221122max(;)loglog 2(lglg)log 100.082 /3333miCI X YmHbitsymbol其最佳输入分布为1()2ip x3-2 某信源发送端有2 个符号，ix， i1，2；()ip xa，每秒发出一个符号。接受端有3种符号iy，j1，2，3，转移概率矩阵为1/ 21/ 201/ 21/ 41/ 4P。（1）计算接受端的平均不确定度；（2）计算由于噪声产生的不确定度(|)H YX；（3）计算信道容量。解：1/ 21/ 201/ 21/ 41/ 4P联合概率(,)ijp x yX Y 1y2y3y1x/ 2a/ 2a0 2
12、x(1) /2a(1) / 4a(1) / 4a则 Y 的概率分布为Y 1y2y3y1/ 2(1)/ 4a(1) /4a（1）11+414( )log 2loglog24141aaH Yaa211161log 2loglog24141aaaa211111log 2log16loglog244141aaaa23111log 2loglog24141aaaa 取 2 为底2223111( )(loglog)24141aaH Ybitaa（2）11111111(|)logloglogloglog2222224444aaaaaH YX3(1)log 2log 22aa3log 22a取 2 为底 3(
13、|)2aH YXbit2()()()111max (; )max( )(|)maxlog 2loglog24141iiip xp xp xaaacI X YH YH Y Xaa取 e 为底2111(ln2lnln)24141aaa aa a21121111ln 2ln()24 141411aaaaaaa221112ln 2ln22(1)414 1aaaaaa 111ln 2ln241aa = 0 1114aa 35a9 251311131log 2loglog2541454c312531log 2loglog10416204 3153log 2loglog 2102410 15log243.3
14、 在有扰离散信道上传输符号0 和 1，在传输过程中每 100 个符号发生一个错 误，已知 P(0)=P(1)=1/2 ，信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：0.990.010.010.99P为一个 BSC信道所以由 BSC信道的信道容量计算公式得到：211log( )log2log0.92/11000920/ seci iitCsH Ppbit signpCCCbitt3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当 e=0和 1/2 时的信道容量 C 的大小。X 0 Y 0 1 1 1 2 2 1eee解: 信道矩阵P=e1e
15、0ee10001,此信道为非奇异矩阵,又 r=s,可利用方程组求解31(|)jij jP ba b=?=31(|)log(|)jiji jP baP ba=?(i=1,2,3) 123230(1)(1)log(1)log(1)log(1)log(1)be bebeeeeebe beeee=?-+=-+?+-=+-? ?解得10b =23(1)log(1)logbbeeee=-+所以C=log2jjb?=log20+22(1-e)log(1-e)+logee =log1+21-H(e)=log1+2(1)(1)ee-ee 231 1(1)1( )2(1)3211()2212(1)12(1)()2
16、12(1)()2()CC HCCP bP bP bP beeeee b eebbeee eee- - -?=?+-+?-?=?+-?=? ?而31()() (|)jiji iP bP a P ba=?(j=1,2,3) 得11223323()()()()(1)()()()()(1)P bP aP bP aP aP bP aP aeeee=?=-+?=+-? ?所以P(a1)=P(b1)=(1)112(1)eeee-+-2323(1)(1)()()()()12(1)P aP aP bP beeeee eee-=+- 当e=0 时,此信道为一一对应信道,得C=log3, 1231()()()3P aP aP a=当e=1/2 时,得 C=log2, 11()2P a=,231()()4P aP a=3.5 求下列二个信道的信道容量，并加以比较（1） 22pppp（2） 2002pppp其中 p+p=1 解：（ 1）此信道是准对称信道，信道矩
