信息论基础与应用-李梅-第一章 绪论

《信息论基础与应用-李梅-第一章 绪论》由会员分享，可在线阅读，更多相关《信息论基础与应用-李梅-第一章 绪论（51页珍藏版）》请在金锄头文库上搜索。

1、李 梅 信息论基础与应用信息论基础与应用 课程信息课程信息 l教材及主要参考书： 信息论基础与应用 李梅 电子工业出版社， 2016年6月 信息论-基础理论与应用，傅祖芸 电子工业出版社，2001年8月 l考核：平时成绩 20（作业、考勤、实验） 期末考试 80（闭卷） l答疑： 实实践性教学内容、要求及学时时分配 实验实验 一：信道容量的迭代算法 2 学时 实验实验 二：Huffman 编码编码 2 学时 实验实验 三：通信系统统仿真 4 学时 （备选题目：LZW压缩编码） 国外参考教材 T. M. Cover, Fundamental of Information Theory 最为流行的

2、英文教材，为Stanford、MIT等学校的研究生课程选用 数学推导适中，强调概念，作为参考教材 R.G. Gallager, Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材 第一章：绪论第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 第一章：绪论第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 概述 2. 信息的通俗概念 3. 信息的狭义概念（香农信息） 4. 信息的广义概念 l组成客观世界的三大基本要素： 物质 能量 信

3、息 l没有物质什么都不存在，没有能量什么都不会发生，没 有信息什么都没有意义。 美国学者欧廷格 研究内容形成和发展什么是信息 通信系统模型 第一章：绪论第一章：绪论 1. 1. 概述概述 2. 2. 信息的通俗概念信息的通俗概念 信息的通俗概念：消息就是信息。 l用文字、符号、数据、语言、音符、图片、图像等能够 被人们感觉器官所感知的形式，把客观物质运动和主观 思维活动的状态表达出来，就称为消息。 研究内容形成和发展什么是信息 通信系统模型 第一章：绪论第一章：绪论 l消息中包含信息，消息是信息的载体。 2. 2. 信息的通俗概念（续信息的通俗概念（续1 1） l信号是表示消息的物理量，包括电

4、信号、光信号等。 l信号中携带着消息，信号是消息的载体。 信息 信号 消息 研究内容形成和发展什么是信息 通信系统模型 第一章：绪论第一章：绪论 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。 l通信的基本问题是在一点(信宿）精确或近似恢复另一点 （信源）所选择的消息。 香农 l通信的过程就是消除不确定性的过程。 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续1 1 ） 第一章：绪论第一章：绪论 l例1： 甲袋红、白球

5、各50个，乙袋红、白、蓝、黑球各25 个。比较从甲袋中取出一个球是红球的事件和从乙袋中 取出一个球是红球的事件发生的难易程度，也就是事件 发生的不确定性。 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续2 2 ） 第一章：绪论第一章：绪论 l例2： 北京地区十月份可能出现的天气包括：晴、阴、雨 、雪。比较天气预报为“晴”和天气预报为“雪”，给人们 带来的信息量。 研究内容形成和发展什么是信息 通信系统模型 结论：不确定性的大小与事 件发生的概率有关。 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（

6、续3 3 ） 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 不确定性的大小与事件发生的概率有关 因此，信息量可以表示为概率的函数。 不确定性是概率的函数 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续4 4 ） l信息与概率的关系： 事件发生的概率越大，该事件包含的信息量越小； 如果一个事件发生的概率为1，那么它包含的信息量为0； 两个相互独立事件所提供的信息量应等于它们各自提供的 信息量之和。 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续5

7、5 ） l某个消息的不确定性（含有的信息量）可以表示为： 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 信源的平均不确定性： 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续6 6 ） 第一章：绪论第一章：绪论 l香农信息的优点： 有明确的数学表达式，定量化 与人们直观理解的信息含义一致 不考虑收信者主观感受的不同，认为同一消息对 任何收信者，所得信息量相同。 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念（香农信息）信息的狭义概念（香农信息） （续（续7 7 ） 第一章：绪论第一章：绪论 l香农信息的局限： 没有考虑收

8、信者的主观特性和主观意义 研究内容形成和发展什么是信息 通信系统模型 4. 4. 信息的广义概念信息的广义概念 研究内容形成和发展什么是信息 通信系统模型 信息是认识主体（人、生物、机器）所感受的和表达的事 物运动的状态和运动状态变化的方式。 语法信息 语义信息 语用信息 第一章：绪论第一章：绪论 第一章：绪论第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 通信系统模型 2. 提高通信系统的性能指标的措施 1. 1. 通信系统模型通信系统模型 研究内容形成和发展什么是信息 通信系统模型 第一章：绪论第一章：绪论 图1 通信系统模型 1. 1.

9、 通信系统模型（续通信系统模型（续1 1） l信源 l编码器 l信道 l译码器 l信宿 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1 1）信源）信源 研究内容： l信源发出的消息的统计特性 离散信源、连续信源、波形信源 有记忆信源和无记忆信源 平稳信源和非平稳信源 l信源产生信息的速率 熵率 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续2 2） 2 2）编码器）编码器 l编码器的功能：将消息变成适合信道传输的信号 l编码器包括： 信源编码器 信道编码器 调制器 第一章：绪论第一章：绪论 研究内容形

10、成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续3 3） 第一章：绪论第一章：绪论 图2 编码器的组成 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续4 4） l信源编码器： 去除信源消息中的冗余度，提高传输的有效性。 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续5 5） l信道编码器： 将信源编码后的符号加上冗余符号，提高传输的可靠性。 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 图3 信道编码示例 1. 1. 通信系统模型（

11、续通信系统模型（续6 6） 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 l思考题： 信源编码去除冗余度，信道编码却加上冗余度，为 什么要这么做？ 1. 1. 通信系统模型（续通信系统模型（续7 7） l调制器： 功能：将信道编码后的符号变成适合信道传输的信号 目的： 提高传输效率 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续8 8） 3 3）信道）信道 l狭义信道 l广义信道 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续9 9）

12、研究内容： l信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道（平稳信道）和随参信道（非平稳信道） 单用户信道和多用户信道 l信道传输信息的最高速率 信道容量 1. 1. 通信系统模型（续通信系统模型（续1010） 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 4 4）译码器）译码器 l译码器的功能：从接收到的信号中恢复消息 。 l包括： 解调器 信道译码器 信源译码器 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续1111） 第一章：绪论第一章：绪

13、论 图4 译码器的组成 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续1212） 5 5）信宿）信宿 l信宿是消息传送的对象（人或机器）。 l香农信息论不研究信宿。 第一章：绪论第一章：绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型（续通信系统模型（续1313） 第一章：绪论第一章：绪论 l提高有效性： （数据压缩） 信源编码：无失真信源编码和限失真信源编码 l提高可靠性： （可靠传输） 信道编码 2.提高通信系统性能指标的措施 研究内容形成和发展什么是信息 通信系统模型 第一章：绪论第一章：绪论 一、什么是信息 二、通信系

14、统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 信息论研究的主要问题 2. 什么是信息论 3. 信息论的应用 1. 1. 信息论研究的主要问题信息论研究的主要问题 第一章：绪论第一章：绪论 通信系统模型形成和发展什么是信息研究内容 狭义信息论：又称香农信息论。 一般信息论：也叫工程信息论。 广义信息论 广义 信息论 一般 信息论 狭义 信息论 1. 1. 信息论研究的主要问题（续信息论研究的主要问题（续1 1） 1）什么是信息？如何度量信息？ 第一章：绪论第一章：绪论 通信系统模型形成和发展什么是信息研究内容 2）怎样确定信源输出信息的速率？ 3）对于一个信道，它传输信息的最高速率

15、（信道容量）是 多少？ 1. 1. 信息论研究的主要问题（续信息论研究的主要问题（续2 2） 4）无失真信源编码，所需要的最少码符号数是多少？ 第一章：绪论第一章：绪论 香农第一定理： 如果编码后的信源序列的 编码信息率不小于信源的熵，那么一定存 在一种无失真信源编码方法；否则，不存 在这样的一种无失真信源编码方法。 通信系统模型形成和发展什么是信息研究内容 1. 1. 信息论研究的主要问题（续信息论研究的主要问题（续3 3） 5）在有噪声信道中，有没有可能实现几乎无差错的传输信 息？ 第一章：绪论第一章：绪论 香农第二定理：如果信道的信息传输率小于信 道容量，那么总可以找到一种编码方式，使得 当编码序列足够长时传输差错任意小；否则， 不存在使差错任意小的信道编码方式。 通信系统模型形成和发展什么是信息研究内容 1. 1. 信息论研究的主要问题（续信息论研究的主要问题（续4 4） 6）如果信源编码时，允许