《信息论与编码考试题库》由会员分享，可在线阅读，更多相关《信息论与编码考试题库（23页珍藏版）》请在金锄头文库上搜索。
1、第二章习题：补充题：掷色子，（1）若各面出现概率相同 （2）若各面出现概率与点数成正比 试求该信源的数学模型解：（1）根据刀 p （a ） = 1,且 p （a ） = p （a ），得i 1 6i=11 P（a ） =p（a ）=，所以信源概率空间为(2)根据刀p(a )=1 6 6 _ 123456_P=111111666666且 p (a ) = k, p (a ) = 2k,p (a ) = 6k，得 k =- o_ 123456 一P=1234562121212121211ii=12 6 212-2由符号集o,1 组成的二阶马尔可夫链，其转移概率为P（0/00）=0.8, P（0/1
2、1）=0.2, P（1/00）=0.2,P(1/11)=0.8, P(0/01)=0.5, P(0/10)=0.5, P(1/01)=0.5, P(1/10)=0.5。画出状态图，并计算各状态的稳态 概率。解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为：P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S= S, Sy S3, S4 = 00, 01, 10, 110.8 0.2P =0.5 0.50.5
3、0.50.2 0.8W =WP +WP +WP +WP1 1 112 213 314 41各状态稳定概率计算：（j=1工 WP = Wi ij ji=1w =WP +WP +WP +W P2 1 122 223 324 42W = W P + W P+ W P + W P3 113223333443W = W P + W P + W P + W P4 114224334444W1 + W 2 + W 3 + W 4 = 1得：145即：p(00)=p(n)=忆W 2 = W 3 =23142P(01)=P(10)=-142- 6 掷两粒骰子，当其向上的面的小圆点数之和是3 时，该消息所包含的信
4、息量是多少？当小圆点数之和是7 时，该消息所包含的信息量又是多少？解：P(3) = P(1) P(2) + P(2) - P(1) =1 x1 +1 x1 = 6 6 6 6 18 I(3) = -log p=log 18(比特)226P(7) = P(l) P(6) + P(2) P(5) + P(3) P(4) + P(4) P(3) + P(5) P(2) + P(6) P(1)=花 2-7I(7) =-log p(7) = log 6(比特)222-7 设有一离散无记忆信源,其概率空间为该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321
5、010 021 032 011 223 210),求此消息 的自信息量是多少及平均每个符号携带的信息量?解:消息序列中，“0”个数为n1=14, “1”个数为n g “2”个数为n=12, “3”个数为n4 =6消息序列总长为 N =n +n +n +n =45(个符号)1234(1) 消息序列的自信息量:I = n I (x )=壬 n log p (x )i i i 2 ii=1i=1= -14log p(0)-13log p(1) -12 log p(2)-6log p(3) = 87.81比特2 2 2 2(2) 平均每个符号携带的信息量为:=8771 = 1.95(比特 / 符号)
6、N 452-14在一个二进制信道中，信息源消息集X=0, 1，且P(1)=P(0),信宿的消息集Y=0, 1,信道传输概率P (1/0) =1/4，P(0/1)=1/8。求：(1) 在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I (X;y=0)。(2) 该情况所能提供的平均互信息量I (X； Y)。解： X=0,1,Y=0,1p(x )= p(x ),p(y /x )=1/4,p(y /x )=1/8p (x )+ p (x )= 1,p(x ) = p(x ) n p (x ) = p (x ) = 1/ 20 1 0 1 0 1p(y / x ) = 1 - p(y /
7、x ) = 3/40 0 1 0p(y /x)=1-p(y /x)=7/81 1 0 1P( X0 y o) = P( y 0/X0) P( X0)=318 P(oyi)= P(yi/%)P(%)= 817P( X1 yo)= P( y o/x8) P(x8)= 86 P( X1 y8) = P (y8/ x8) P( x8) = 86工 p (xy )iji=08 3 8 7 9P(y )=乙P(xy ) = -+ =P(y )=,0 i 0 8 86 86 8 86 i=0I(X; y )=工 p(x / y )logji jip(x /y ) V p(xy p(xy )V p(y /x)
8、p(x p(y /x)i j =ij logij =j i i log j i -p(x )p(y )p(x )p(y )p(y )p(y )iijijijjI(X;y0)=V P (y / x ) P (x )0 i i log ,0p(y )i=p (y / x)i - p (y ) 0P(y / x ) P(x 片P(y / x )丄 P( y / x ) P(x )P(y )P(y )P(y )0 0 0 =6 log 82 + 8 log 2 = 0.4083bit / s7777logP(y /x)01P(y )0V P(y / x )P(x 片8 i i log .0p (y)i
9、 01P( y / x)i -P( y)1P(y / x )P(x ) P(y / x ) P(y / x )P(x )P( y)P (y) P( y)1 1 1714 24log + log =0.2358bit / s9999logP (y / x)18-P( y)1(2) I(X;Y) V1 P(y )I(X;y )jjj 079=P(y )I(X;y ) + P(y )I(X;y )= x0.4083 +x0.2358 = 0.3113比特/符号0 0 1 1 16 162-25某一无记忆信源的符号集为0,1，已知p =1/4 , p =3/4。01(1)求符号的平均熵。(2) 由10
10、0个符号构成的序列，求某一特定序列(例如有m个0和100-m个1)的自信息量的表达式。(3) 计算(2) 中的序列的熵。 解：(1)对离散无记忆信源符号的平均熵：21133H(X)=丄p(x )logp(x ) =-log-log-= 0.81 比特/符号ii 4444i 1(2)长度为L=100的符号序列中某特定序列a. =(000111)，其中“0”的个数为m, “1”的个数为100-m.该特定序列的概率为p(a ) = p(00011l)i对离散无记忆信源，其符号独立出现，即P(a )二 P(000111)二 p(0)p(0)p(0)p(1)pp二p(0)mp(l)100-m 则该特定序
11、列的 i自信息量为：I (a )二-log p (a )二-log p (0) m p (1)100-m = -m log p (0) - (100 - m)log p (1) ii4=m log 4 + (100 一 m)log3 = 100log4 - (100 一 m) log 3=41+1.59m (bit)(3)长度为L=100的符号序列离散无记忆信源熵：H(Xl) =h(x 1X2 -X 100 =迥H(X) = LH(X) = 100H(X) =81 (比特/序列)l=12-30 有一马尔可夫信源，已知转移概率为p(s / s ) = 2/3, p (s Is ) = 1/3 ,
12、 p (s / s ) = 1, p (s / s ) = 0。试 1 1 2 1 1 2 2 2画出状态转移图，并求出信源熵。解：(1)由题意知，该马尔可夫信源阶数为1,状态集S=(S, S21 ,状态转移图为：(2) 信源熵：H = H =p(s )H (X / s ) = P(s)H(X / s )+ P(s)H(X / s )a2ii1122i=1a)求稳态概率W = p(s )ii计算方程：工W = 1jj=1昱 WP = Wi (/ ji=1W = WP + W2P11 112 21即：W = WP + W2P21 122 22W + W = 112W = - W + W 21 3
13、12W =1W2 31W + W = 112得： W = 0.75W = 0.2511即： P(S 1 )=0.75， P(S 2 )=0.25b) 求 H(X/Si)H(X/S j) =- pGj I s)og pGj. / s.)j=H(X /s ) = -p(x /s )logp(x /s ) -p(x /s )logp(x /s ) = H(2,1)1 1 1 1 1 2 1 2 1 3 3H(X/s )=-p(x /s )logp(x /s )- p(x /s )logp(x /s ) = H(1,0)2 1 2 1 2 2 2 2 2则信源熵：H8 = H2 =p(v)H(X / s )3 (3 1、4,3丿ii i=1=P(S 1) p(s)H(X / s)+ pg)H(X / $2)= 4H=0.69 比特/符号2-33 阶马尔可夫信源的状态图如图2-14所示，信源X符号集为0, 1, 2。（1）求平稳后信源的概率分布；（2）求信源熵H ；8（3）求当p=0或p=1时信源的熵，并说明其理由。解：（1） 一阶马尔可夫信源的状态空间S=X=0，1，2，由图2-14状态转移图中分析得，此马尔可夫链是时齐 的，状态有限的和不可约闭集，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔 可夫信源，状态的极限
