《信息论与编码作业答案清华版》由会员分享，可在线阅读，更多相关《信息论与编码作业答案清华版（84页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码 作业答案 （对应曹雪虹清华版教材） 第一章第一章 绪论绪论 1-1、 信息、消息、信号的定义是什么？三者的关系是什么？ 答：信息：是指各个事物运动的状态和状态变化的方式。 消息：包含有信息的语言文字和图像等。 信号：信号时消息的物理体现。 三者关系：信息符号化为消息，消息物理化为信号。 # 1-2、 简述一个通信系统包括的各主要功能模块及其作用。 答：主要模块和其作用如下： 信源：向通信系统提供消息。 信宿：接收消息。 信道：传递消息或说物理信号。 干扰源：集中反映通信系统的干扰。 密钥源：产生密钥。 信源编码器：进行信源编码，把信源发出的消息转换成由二进制码元（或多进制码元）的
2、代码组。 信道编码器：增加监督码元，增加检错或纠错的能力。 加密编码：提高通信系统的安全性。 # 第二章第二章 信源与信息熵信源与信息熵 2.1 一个马尔可夫信源有 3 个符号1,23,u u u，转移概率为：()11|1/2p uu=，()21|1/2p uu=，()31|0p uu=， ()12|1/3p uu=，()22|0p uu=，()32|2/3p uu=，()13|1/3p uu=，()23|2/3p uu=，()33|0p uu=， 画出状态图并求出各符号稳态概率。 解： （1）状态转移矩阵为： 1/21/20 1/302/3 1/32/30 p = （2）状态图如下 （3）从
3、状态图可知，满足不可约性与非周期性，所以存在稳态概率。设状态 u1，u2，u3稳定后的概率分别为 W1，W2、 W3 由 1231 WPW WWW = += 得 1231 132 23 123 111 233 12 23 2 3 1 WWWW WWW WW WWW += += = += 计算可得 1 2 3 10 25 9 25 6 25 W W W = = = 答： （略）# u1u2 u3 1/2 1/2 1/3 2/3 2/3 1/3 2-2 由符号集0， 1组成的二阶马尔可夫链， 其转移概率为：(0 | 00)p=0.8，(0 |11)p=0.2，(1| 00)p=0.2，(1|11)
4、p=0.8， (0 | 01)p=0.5，(0 |10)p=0.5，(1| 01)p=0.5，(1|10)p=0.5。画出状态图，并计算各状态的稳态概率。 解： （1）状态转移矩阵 (0 | 00)(00 | 00)0.8pp= (0 | 01)(10 | 01)0.5pp= (0 |11)(10 |11)0.2pp= (0 |10)(00 |10)0.5pp= (1| 00)(01| 00)0.2pp= (1| 01)(11| 01)0.5pp= (1|11)(11|11)0.8pp= (1|10)(01|10)0.5pp= 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0
5、.50.500 000.20.8 p = （2）状态图为： （3）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设各状态 00，01，10，11 的稳态分布概率 为 W1,W2,W3,W4 有 4 1 1i i WPW W = = = 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 WWW WWW WWW WWW WWWW += += += += += 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W = = = = 答： （略）# 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，求
6、： （1） “3 和 5 同时出现”事件的自信息量； （2） “两个 1 同时出现”事件的自信息量； （3）两个点数的各种组合（无序对）的熵或平均信息量； （4）两个点数之和（即 2，3，12 构成的子集）的熵或平均信息量； （5）两个点数中至少有一个是 1 的自信息量。 解：设( 12 ,x x)表示骰子掷呈现面上的数字对，则 （1） 1212 11111 (3,5)(3,5)(5,3) 666618 pp xxp xx=+=+= (3,5)log( (3,5)4.17Ipbit= - (2) 12 111 (1,1)(1,1) 6636 pp xx= (1,1)log( (1,1)5.17
7、Ipbit= - (3) ( 12 ,x x)无序对组合共有 21 种，其中相同数字的无序对有 6 种，每种出现的概率均为 1/36，不同数字的无序对组 合共 15 种，每种出现的概率均为 1/18。 12 11 (,)6log3615log184.337/ 3618 H X Xbit event=+ （4）两个点数之和（即 2，3，12 构成的子集）的概率如下表所示 和 2 3 4 5 6 7 8 9 10 11 12 组 合 情 况 1+1 1+2 2+1 1+3 3+1 2+2 1+4 4+1 2+3 3+2 1+5 5+1 2+4 4+2 3+3 1+6 6+1 2+5 5+2 3+4
8、 4+3 2+6 6+2 3+5 5+3 4+4 3+6 6+3 4+5 5+4 4+6 6+4 5+5 5+6 6+5 6+6 概 率 11 66 = 1 36 11 66 + 11 66 = 2 36 11 66 + 11 66 + 11 66 = 3 36 11 66 + 11 66 + 11 66 + 11 66 = 4 36 11 66 + 11 66 + 11 66 + 11 66 + 11 66 = 5 36 11 66 + 11 66 + 11 66 + 11 66 + 11 66 + 11 66 = 6 36 11 66 + 11 66 + 11 66 + 11 66 + 1
9、1 66 = 5 36 11 66 + 11 66 + 11 66 + 11 66 = 4 36 11 66 + 11 66 + 11 66 = 3 36 11 66 + 11 66 = 2 36 11 66 = 1 36 12 1236336436536 ()2log36loglogloglog 36362363364365 636 log3.274/ 366 H XXX bit event =+=+ + （5）两个点数中至少有一个是 1 的概率 11155111 ( ) 66666636 p x =+= 36 ( )l1.7105 11 I xbbit= 答： （略）# 2-4 设在一只布
10、袋中装有 100 个用手角摸感觉完全相同的木球， 每个球上涂有一种颜色。 100 个球的颜色有下列 3 种情况： （1）红色球和白色球各 50 个； （2）红色球 99 个，白色球 1 个； （3）红、黄、蓝、白色球各 25 个。 分别从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：设从布袋中随意取出一个球，是指定颜色的概率为 p(x) （1） 11 1 ( )( ),( , )1/ 22 2 p rp wHbit event= (2) 991991 ( ), ( ),(,)0.081/ 100100100 100 p rp wHbit event= (3) 11111 1 1 1
11、( ), ( ), ( ), ( ),( , )2/ 44444 4 4 4 p rp yp bp wHbit event= 答： （略）# 2-5 （题目略） 2-6 （题目略） (1,2) (2,1) 共两种 Log 36 2 4.17 (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log 36 6 2.585 2-7 设有一离散无记忆信源，其概率空间为 12340123 3/81/41/41/8 xxxxX P = = （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010
12、 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 解：(1) 122 1 18 ( )loglog1.415 ( )3 I xbit p x =,同理可以求得233()2, ()2, ()3I xbit I xbit I xbit= （2）解法一：该消息符号序列 x 中 0 有 14 个 1 有 13 个 2 有 12 个 3 有 6 个， 1413126 3411 ( )( )( )( )( ) 8448 ( )log ( )87.811 p x I xp xbit = = - P= I= 解法二：因为信源无记忆，所以此消息序列的信息量就等于该序列中各个
13、符号的信息量之和 就有：123414 ( )13 ()12 ()6 ()87.81II xI xI xI xbit=+ 答： （略）# 2-8 （题目略） Log 2( )1Log 4( )2Log 8( )3 2-9 （题目略） “” 用三个脉冲 “”用一个脉冲 (1) I()=Log 4 ( )2 I() Log 4 3 0.415 (2) H= 1 4 Log 4( ) 3 4 Log 4 3 0.811 2-10 在一个袋中放 5 个黑球、10 个白球，以摸一个球为一次实验，摸出的球不再放进去。求： （1）一次实验包含的不确定度； （2）第一次实验 X 摸出的是黑球，第二次实验 Y 给
14、出的不确定度； （3）第一次实验 X 摸出的是白球，第二次实验 Y 给出的不确定度； （4）第二次实验 Y 给出的不确定度。 解： （1） 5151015 ()loglog0.918/ 1551510 H Xbit event=+ (2) (/ )(/ ) (/ )( / )log( ( / )( / )log( ( / ) 4141014 loglog0.5160.3470.86/ 1441410 ii i H Ybp yb I ybp b bp b bp w bp w b bit event = - =+ (3) (/)(/) (/)( /)log( ( /)( /)log( (/) 514914 loglog0.53050.40970.94/ 145149 ii i
