信息论与编码技术思考题与习题(1-2).pdf

《信息论与编码技术思考题与习题(1-2).pdf》由会员分享，可在线阅读，更多相关《信息论与编码技术思考题与习题(1-2).pdf（11页珍藏版）》请在金锄头文库上搜索。

1、Chap1 思考题与习题 参考答案参考答案 1 1 信息论与编码技术研究的主要内容是什么 信息论是一门应用概率论 随机过程 数理统计和近代代数的方法 来研究广义的信息传输 提取 和处理系统中一般学科 编码技术研究的主要内容是如何既可靠又有效地传输信息 1 2 简述信息理论与编码技术的发展简史 1948 年香农在贝尔系统技术杂志上发表了两篇有关 通信的数学理论 的文章 在这两篇论文中 他用概率论测度和数理统计的方法系统地讨论了通信的基本问题 得出了及格重要而带有普遍意义的结 论 并由此奠定了现代信息论的基础 从 1948 年开始 信息论的出现引起了一些有名的数学家如柯尔洛夫 A Feinstei

2、n J Wolfowitz 等 人的兴趣 他们将香农已得到的数学结论做了进一步的严格论证和推广 使这一理论具有更为坚实的数 学基础 在研究香农信源编码定理的同时 另外一部分科学家从事寻找最佳编码 纠错码 的研究工作 并 形成一门独立的分支 纠错码理论 1959 年香农发表了 保真度准则下的离散信源编码定理 首先提出了率失真函数及率失真信源 编码定理 从此 发展成为信息率失真编码理论 香农 1961 年的论文 双路通信信道 开拓了网络信息论的研究 现在 信息理论不仅在通信 计算机以及自动控制等电子学领域中得到直接的应用 而且还广泛地 渗透到生物学 医学 生理学 语言学 社会学 和经济学等领域 1

3、 3 简述信息与消息 信号的定义以及三者之间的关系 信息就是事物运动的状态和方式 就是关于事物运动的千差万别的状态和方式的知识 用文字 符号 数据 语言 音符 图像等能够被人们感觉器官所感知的形式 把客观物质运动和 主观思维活动的状态表达出来成为消息 把消息变换成适合信道传输的物理量 这种物理量称为信号 它们之间的关系是 消息中包含信息 是信息的载体 信号携带消息 是消息的运载工具 1 4 简述一个通信系统包括的各主要功能模块及其作用 通信系统主要分成下列五个部分 1 信息源 信源是产生消息和消息序列的源 2 编码器 编码是把消息变换成信号的措施 3 信道 信道是指通信系统把载荷消息的信号从甲

4、地传到乙地的媒介 4 译码器 译码就是把信道输出的编码信号 已叠加了干扰 进行反变换 5 信宿 信宿是消息传送的对象 即接收消息的人或机器 1 5 你有没有接触与考虑过信息与信息的测度问题 你如何理解这些问题 略 1 6 什么是事物的不确定性 不确定性如何与信息的测度发生关系 由于主 客观事物运动状态或存在状态是千变万化的 不规则的 随机的 所以在通信以前 收信 者存在 疑义 和 不知 即不确定性 用数学的语言来讲 不确定就是随机性 具有不确定性的事件就是随机事件 因此 可运用研究随 机事件的数学工具 概率论和随机过程来测度不确定性的大小 1 7 试从你的实际生活中列举出三种不同类型的通信系统

5、模型 并说明它们的信源 信道结构 写出 它们的消息字母表 输入与输出字母表及它们的概率分布与条件概率分布 略 1 8 在你日常生活中出现过哪些编码问题 能否用编码函数给以描述 略 Chap2 思考题与习题 参考答案 2 1 同时扔一对均匀的骰子 当得知 两骰子面朝上点数之和为 2 或 两骰子面朝上点数之和为 8 或 两 骰子面朝上点数是 3 和 4 时 试问这三种情况分别获得多少信息量 解解 同时扔一对均匀的骰子 可能呈现的状态数有 36 种 各面呈现的概率为 1 6 所以 36 种中任何一 种状态出现的概率都是相等 为 1 36 1 设 两骰子面朝上点数之和为 2 为事件 A 在 36 种情

6、况中 只有一种情况 即 1 1 则 2 1 36 log log 365 17 P A I AP A 比特 2 设 两骰子面朝上点数之和为 8 为事件 B 在 36 种情况中 有六种情况 即 5 3 3 5 2 6 6 2 4 4 则 2 5 36 36 log log2 85 5 P B I BP B 比特 3 设 两骰子面朝上点数是 3 和 4 为事件 C 在 36 种情况中 有两种情况 即 3 4 和 4 3 则 2 2 36 log log 184 17 P C I CP C 比特 2 2 同时掷两个均匀的骰子 也就是各面呈现的概率都是 1 6 求 1 事件 3 和 5 同时出现 的自

7、信息量 2 事件 两个 l 同时出现 的自信息量 3 两个点数之和 即 2 3 12 构成的子集 的熵 4 事件 两个骰子点数中至少有一个是 1 的自信息量 解解 同时掷两个均匀的骰子 也就是各面呈现的概率都是 1 6 总共有 36 种可能的状态 每 种状态出现的概率都是 1 36 1 设 3 和 5 同时出现 为事件 A 则在 36 种状态中 有两种可能的情况 即 5 3 和 3 5 则 2 2 36 log log 184 17 P A I AP A 比特 2 设 两个 l 同时出现 为事件 B 则在 36 种状态中 只有一种可能情况 即 1 1 则 2 1 36 log log 365

8、17 P B I BP B 比特 3 设两个点数之和构成信源 Z 它是由两个骰子的点数之和组合 即 Z Y X 得 23456789101112 1 362 363 364 365 366 365 364 363 362 361 36 1 Z P z P z 22222 222 log 468106 log 36 log 2log 3log 4log 5log 6 3636363636 261210 log 36 log 3log 5 363636 5 17 1 8963 274 Z H ZP zP z 比特 2 4 在这 36 种状态中 至少有一个是 1 的状态共有 11 种 每种状态都是独

9、立出现的 每种状态初点 的概率都是 1 36 设 两个点数中至少有一个是 1 为事件 C 则 2 11 36 11 log log1 71 36 P C I CP C 比特 2 3 设离散无记忆信源 1234 012 3 81 41 41 8 Xaaaa p x 3 其发出的消息为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息是多少 2 在此消息中平均每个符号携带的信息量是多少 解解 1 因为离散信源是无记忆的 所以它发出的消息序列中各个符号是无依赖的 统计独立的 因 此 此消息的自信息就等于各个

10、符号的自信息之和 则可得 112 222 332 442 33 0 log loglog1 45 88 1 1 log loglog 4 2 4 1 2 log loglog 4 2 4 1 3 log loglog 8 3 8 I aP a I aP a I aP a I aP a 比特 比特 比特 比特 此消息中共有 14 个符号 0 13 个符号 1 12 个符号 2 和 6 个符号 3 则此消息的自 信息是 123 14 0 13 1 12 2 6 3 14 1 415 13 2 12 26 3 87 71 II aI aI aI a 比特 4 2 此消息中共有 45 个信源符号 携带

11、了 87 81 比特信息量 因此 此消息中平均每个符号携带的信 息量为 2 87 81 451 95 I 比特 2 4 有一个二元信源 计算该信源的熵 01 0 90 1 X p x 解解 根据公式得该信源的熵为 22 0 log 0 1 log 1 0 9 log 0 90 1 log 0 1 0 4689 H XP xP xP xP x 比特 符号 2 5 设信源 123456 0 20 190 180 170 160 17 Xaaaaaa p x 求该信源的熵 并解释为什么在本题中 H X log6 不满足信源熵的极值性 解解 根据公式得信源熵为 log log 0 2log0 20 1

12、9log0 190 18log0 18 0 17log0 170 16log0 160 17log0 17 2 65 x ii i H XP xP x PP 比特 符号 由离散信源熵的特性可知 其有一个最大值 等概分布时达到最大值 最大值为 log q log 6 2 58 比特 符号 现在 H X log 6 不满足信源熵的极值性 这是因为 我们讨论的信源的 概率空间应该是一个完备集 即 6 1 1 i i P 而在本题当中 6 1 1 071 i i P 不是完备集 所以不满足 信源熵的极值性 2 6 每帧电视图像可以认为是由 3 10 5 个像素组成 每个像素均是独立变化 若每个像素可取

13、 128 个 不同的亮度电平 并设亮度电平等概率出现 问每帧图像含有多少信息量 若有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视 图像 试问广播员描述此图像所广播的信息量是多少 假设汉字字汇是等概率分布 并彼此无依赖 若 要恰当地描述此图像 广播员在口述中至少需用多少汉字 解解 1 亮度电平等概出现 即每个像素亮度信源为 128 12128 1 1 1 1281 128 1 128 i i i Xaaa P a P a 则每个像素亮度含有的信息量为 2 log 1287 H X 比特 符号 一帧图像每个像素均是独立变化的 则每帧图像信源就是离散亮度信源的无记忆 N 次

14、扩展信 源 得到每帧图像含有的信息量为 56 3 10 2 1 10 N H XNH XH X 比特 每帧 2 同 1 中 汉字字汇信源为 10000 1210000 1 1 1 100001 10000 1 10000 i i i Xbbb P b P b 则每个汉字含有的信息量为 2 log 1000013 29 H Y 比特 字 广播员口述电视图像是从此汉字字汇信源中独立的选取 1000 个字来描述的 所以广播员描述此帧 图像所广播的信息量为 44 2 1000log 101 329 10 N H YNH Y 比特 千字 3 若广播员仍从此汉字字汇信源 Y 中独立选取汉字来描述电视图像

15、每次口述一次汉字含有的信息 量是 H Y 每帧电视图像含有的信息量是 则广播员口述次图像至少需要使用的汉字数为 N H Y 6 5 2 1 10 1 58 10158000 13 29 N H X H Y 字 2 7 为了传输一个由字母 A B C D 组成的符号集 把每个字母编码成两个二元码脉冲序列 以 00 代表 A 01 代表 B 10 代表 C 11 代表 D 每个二元码脉冲宽度为 5ms 1 不同字母等概率出现时 计算传输的平均信息速率 2 若每个字母出现的概率分别为 1 5 1 4 1 4 3 10 试计算传输的平均信息速率 解解 1 不同字母等概率出现时 符号集的概率空间为 1

16、41 41 41 4 i XABCD P a 平均每个字母含有的信息量为 2 log 42 H X 比特 符号 现在用两个二元码脉冲代表一个字母 每个二元码脉冲宽度为5ms 则每个字母占用 210tms 一秒内可以传输的字母个数为 1 100 n t 字母 秒 则传输的平均信息率为 200 RnH X 比特 秒 2 字母出现概率不同时 根据题意可以其概率空间为 4 1 1 1 5 1 41 43 10 i i i XABCD P a P a 此时每个字母含有的平均自信息量为 4 1 log 1113 log5log4log4log 54410 1 985 ii i H XP aP a 比特 符号 10 3 同 1 其传输的平均信息速率为 2 1 985 10 RnH X 比特 秒 2 8 试问四进制 八进制脉冲所含的信息量是二进制脉冲的多少倍 解 解 二进制脉冲当中 共可以表示两种不同信息 假设两种不同信息等概分布 则每个二进制脉冲的信 息量为 1 2 1 log log 222 xpI 比特 脉冲 同理 在四进制脉冲当中 共可以表示四种不同信息 假设四种不同信息等概分布 则每个四进制