《信息论第五章答案[整理文档]》由会员分享，可在线阅读，更多相关《信息论第五章答案[整理文档]（11页珍藏版）》请在金锄头文库上搜索。
1、5 1 设信源 01 01 015 017 018 019 02 0 7654321 xxxxxxx XP X 1 求信源熵 H X 2 编二进制香农码 3 计算平均码长和编码效率 解 1 symbolbit xpxpXH i ii 609 2 01 0log01 01 0log1 015 0log15 0 17 0log17 018 0log18 019 0log19 02 0log2 0 log 222 2222 7 1 2 2 xip xi pa xi ki码字 x10 2 0 3 000 x20 19 0 2 3 001 x30 18 0 39 3 011 x40 17 0 57 3
2、100 x50 15 0 74 3 101 x60 1 0 89 4 1110 x70 01 0 99 7 1111110 3 1 83 14 3 609 2 14 3 01 071 0415 0317 0318 0319 032 03 K XH R XH xpkK i ii 5 2 对信源 01 01 015 017 018 019 02 0 7654321 xxxxxxx XP X 编二进制费诺码 计算编码效率 解 xip x i 编码码字 ki x10 2 0 0 00 2 x20 19 1 0 010 3 x30 18 1 011 3 x40 17 1 0 10 2 x50 15 1
3、0 110 3 x60 1 1 0 1110 4 x70 01 1 1111 4 2 95 74 2 609 2 74 2 01 041 0415 0317 0218 0319 032 02 K XH R XH xpkK i ii 5 3 对信源 01 01 015 017 018 019 02 0 7654321 xxxxxxx XP X 编二进制和三进制哈夫曼码 计算 各自的平均码长和编码效率 解 二进制哈夫曼码 xip xi 编码码字ki s61 s50 61 0 s40 39 1 s30 35 0 s20 26 1 x10 2 0 10 2 x20 19 1 11 2 x30 18 0
4、 000 3 x40 17 1 001 3 x50 15 0 010 3 s10 11 1 x60 1 0 0110 4 x70 01 1 0111 4 9 95 72 2 609 2 72 2 01 041 0415 0317 0318 0319 022 02 K XH R XH xpkK i ii 三进制哈夫曼码 xip xi 编码码字ki s31 s20 54 0 s10 26 1 x10 2 2 2 1 x20 19 0 00 2 x30 18 1 01 2 x4 0 17 2 02 2 x50 15 0 10 2 x60 1 1 11 2 x70 01 2 12 2 4 91 3lo
5、g8 1 609 2 log 8 1 01 01 015 017 018 019 0 22 01 2 2m L K XH R XH xpkK i ii 5 4 设信源 128 1 128 1 64 1 32 1 16 1 8 1 4 1 2 1 87654321 xxxxxxxx XP X 1 求信源熵 H X 2 编二进制香农码和二进制费诺码 3 计算二进制香农码和二进制费诺码的平均码长和编码效率 4 编三进制费诺码 5 计算三进制费诺码的平均码长和编码效率 解 1 symbolbit xpxpXH i ii 984 1 128log 128 1 128log 128 1 64log 64
6、1 32log 32 1 16log 16 1 8log 8 1 4log 4 1 2log 2 1 log 22222222 8 1 2 127 64 bit symbol 2 二进制香农码 xip xi pa xi ki码字 x10 5 0 1 0 x20 25 0 5 2 10 x30 125 0 75 3 110 x40 0625 0 875 4 1110 x50 03125 0 9375 5 11110 x60 015625 0 96875 6 111110 x70 0078125 0 984375 7 1111110 x80 0078125 0 9921875 7 1111111
7、二进制费诺码 xi p xi 编码码字ki x10 5 0 0 1 x20 25 1 0 10 2 x30 125 1 0 110 3 x40 0625 1 0 1110 4 x50 03125 1 0 11110 5 x60 015625 1 0 111110 6 x70 0078125 1 0 1111110 7 x80 0078125 1 1111111 7 3 香农编码效率 100 984 1 984 1 64 127984 1 7 128 1 7 128 1 6 64 1 5 32 1 4 16 1 3 8 1 2 4 1 1 2 1 K XH R XH xpkK i ii 费诺编码
8、效率 100 984 1 984 1 984 1 7 128 1 7 128 1 6 64 1 5 32 1 4 16 1 3 8 1 2 4 1 1 2 1 K XH R XH xpkK i ii 4 xip xi 编码码字ki x10 5 0 0 1 x20 25 1 1 1 x30 125 2 0 20 2 x40 0625 1 21 2 x50 03125 2 0 220 3 x60 015625 1 221 3 x70 0078125 2 0 2220 4 x80 0078125 1 2221 4 5 3 94 3log328 1 984 1 log 328 1 4 128 1 4
9、128 1 3 64 1 3 32 1 2 16 1 2 8 1 1 4 1 1 2 1 22mK XH R XH xpkK i ii 5 5 设无记忆二进制信源 1 09 0 10 XP X 先把信源序列编成数字0 1 2 8 再替换成二进制变长码字 如下表所示 1 验证码字的可分离性 2 求对应于一个数字的信源序列的平均长度 1 K 3 求对应于一个码字的信源序列的平均长度 2 K 4 计算 1 2 K K 并计算编码效率 5 若用 4 位信源符号合起来编成二进制哈夫曼码 求它的平均码长K 并计算编码效率 序列数字二元码字 1 0 1000 01 1 1001 001 3 1010 000
10、1 3 1011 00001 4 1100 000001 5 1101 0000001 6 1110 00000001 7 1111 00000000 8 0 解 1 满足 Kcraft 不等式 12282 14 9 1i Ki 由码树图可见 没有一个码字是其它码字的前 缀 码字均在树的终结点 所以码字可分离 2 序列长度 序列概率及二元码长如下表所示 序列序列长度Li 序列概率pi数字二元码长L i二元码字 1 1 0 1 0 4 1000 01 2 0 1 0 9 1 4 1001 001 3 0 1 0 923 4 1010 0001 4 0 1 0 933 4 1011 00001 5
11、 0 1 0 944 4 1100 000001 6 0 1 0 9 5 5 4 1101 0000001 7 0 1 0 966 4 1110 00000001 8 0 1 0 977 4 1111 00000000 8 0 988 1 0 数字符号信源符号 6935 9 1 1 i iiL pK 3 数字符号 bitLpK i ii 70862 9 1 2 4 信源符号 bit K K 47560 1 2 此值表示无记忆二元信源采用游程长度编码后每个二元信源需 要的平均码长 信源符号 log bitxpxpXH ii 4690 2 1i 2 698 12 KK XH 5 4 位信源符号的联
12、合概率 Huffman 编码及码长如下表 码字可以不同 但码长一样 S4P Si 码字 Wi 码长 Li S4P s 码字 Wi 码长 Li 0000 0 6561 0 1 1001 0 0081 1111010 7 0001 0 0729 110 3 1010 0 0081 1111011 7 0010 0 0729 100 3 1100 0 0081 1111110 7 8 0 1 2 3 4 5 6 7 0 1 1 1 1 1 1 1 1 0 0 0 0 00 0 0100 0 0729 101 3 0111 0 0009 111111100 9 1000 0 0729 1110 4 1
13、011 0 0009 111111101 9 0011 0 0081 111110 6 1101 0 0009 111111110 9 0101 0 0081 1111000 7 1110 0 0001 1111111110 10 0110 0 0081 1111001 7 1111 0 0001 1111111111 10 295 492604497021 4 16 1 4 K XH SymbitKKSymbitLspK i ii 5 6 有二元平稳马氏链 已知p 0 0 0 8 p 1 1 0 7 求它的符号熵 用三个符号合成一个来编写二进 制哈夫曼码 求新符号的平均码字长度和编码效率 解
14、 平稳时马尔科夫状态的概率 1 70180 10 100 SPSP SPSPSp 解得 52 53 1 0 SP Sp 一阶马氏信源的熵 symbit SSPSSpSpH j ijiji i logloglog log 78607 25 7 3 25 3 5 25 14 222 1 0 2 1 0 11 70113010 20018000 521530 23121321 SSpSSp SSpSSp SpSp SSpSSpSpSSSp S1S2S3P S1S2S3 Li Wi S1S2S3P S1S2S3 Li Wi 000 48 125 1 1 011 21 250 4 0011 111 49
15、 250 3 000 110 21 250 4 0100 001 12 125 3 011 010 9 250 5 01010 100 12 125 4 0010 101 3 125 5 01011 1490 3 36162 125 327 125 3 250 9 5 250 21 250 21 125 12 4 250 49 125 12 3 125 48 1 11 9 1 K H symbit LspK i ii 1 101 010 110 011 100 001 111 000 6 250 9 250 21 250 21 250 24 250 24 250 49 250 96 250 1
16、5 250 36 250 45 250 60 250 94 250 154 250 0 0 0 0 0 0 1 1 1 1 1 1 0 5 7 对题 5 6 的信源进行游程编码 若 0 游程长度的截止值为16 1 游程长度的截止值为8 求编码 效率 解 一阶马氏信源的熵同上题 symbitH 7860 11 二元平稳一阶记忆序列 0 游程的长度概率 1 0 0 0 15 00 01 1 00 0 0 0 1 15 15321 i i l i i i l i lp l l p pp lp 二元平稳一阶记忆序列 1 游程的长度概率 1 1 1 1 7 11 10 1 11 1 1 1 1 7 7321 i i l i i i l i lp l l p pp lp 1 游程长度的熵 信源符号 2 log log loglog loglog log loglog loglog log log log log log log bitppH p p p p pp pp ppp p pp pppp ppp p ppppp ppppplppp pppppp pplplplplplH i i ii ii
