《信息论基础与应用-李梅-第一章绪论讲述》由会员分享,可在线阅读,更多相关《信息论基础与应用-李梅-第一章绪论讲述(51页珍藏版)》请在金锄头文库上搜索。
1、李 梅 信息论基础与应用信息论基础与应用 课程信息课程信息 l教材及主要参考书: 信息论基础与应用 李梅 电子工业出版社, 2016年6月 信息论-基础理论与应用,傅祖芸 电子工业出版社,2001年8月 l考核:平时成绩 20(作业、考勤、实验) 期末考试 80(闭卷) l答疑: 实实践性教学内容、要求及学时时分配 实验实验 一:信道容量的迭代算法 2 学时 实验实验 二:Huffman 编码编码 2 学时 实验实验 三:通信系统统仿真 4 学时 (备选题目:LZW压缩编码) 国外参考教材 T. M. Cover, Fundamental of Information Theory 最为流行的
2、英文教材,为Stanford、MIT等学校的研究生课程选用 数学推导适中,强调概念,作为参考教材 R.G. Gallager, Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材 第一章:绪论第一章:绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 第一章:绪论第一章:绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 概述 2. 信息的通俗概念 3. 信息的狭义概念(香农信息) 4. 信息的广义概念 l组成客观世界的三大基本要素: 物质 能量 信
3、息 l没有物质什么都不存在,没有能量什么都不会发生,没 有信息什么都没有意义。 美国学者欧廷格 研究内容形成和发展什么是信息 通信系统模型 第一章:绪论第一章:绪论 1. 1. 概述概述 2. 2. 信息的通俗概念信息的通俗概念 信息的通俗概念:消息就是信息。 l用文字、符号、数据、语言、音符、图片、图像等能够 被人们感觉器官所感知的形式,把客观物质运动和主观 思维活动的状态表达出来,就称为消息。 研究内容形成和发展什么是信息 通信系统模型 第一章:绪论第一章:绪论 l消息中包含信息,消息是信息的载体。 2. 2. 信息的通俗概念(续信息的通俗概念(续1 1) l信号是表示消息的物理量,包括电
4、信号、光信号等。 l信号中携带着消息,信号是消息的载体。 信息 信号 消息 研究内容形成和发展什么是信息 通信系统模型 第一章:绪论第一章:绪论 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 香农信息:信息是对事物运动状态或存在方式的不确定 性的描述。 l通信的基本问题是在一点(信宿)精确或近似恢复另一点 (信源)所选择的消息。 香农 l通信的过程就是消除不确定性的过程。 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续1 1 ) 第一章:绪论第一章:绪论 l例1: 甲袋红、白球
5、各50个,乙袋红、白、蓝、黑球各25 个。比较从甲袋中取出一个球是红球的事件和从乙袋中 取出一个球是红球的事件发生的难易程度,也就是事件 发生的不确定性。 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续2 2 ) 第一章:绪论第一章:绪论 l例2: 北京地区十月份可能出现的天气包括:晴、阴、雨 、雪。比较天气预报为“晴”和天气预报为“雪”,给人们 带来的信息量。 研究内容形成和发展什么是信息 通信系统模型 结论:不确定性的大小与事 件发生的概率有关。 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(
6、续3 3 ) 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 不确定性的大小与事件发生的概率有关 因此,信息量可以表示为概率的函数。 不确定性是概率的函数 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续4 4 ) l信息与概率的关系: 事件发生的概率越大,该事件包含的信息量越小; 如果一个事件发生的概率为1,那么它包含的信息量为0; 两个相互独立事件所提供的信息量应等于它们各自提供的 信息量之和。 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续5
7、5 ) l某个消息的不确定性(含有的信息量)可以表示为: 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 信源的平均不确定性: 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续6 6 ) 第一章:绪论第一章:绪论 l香农信息的优点: 有明确的数学表达式,定量化 与人们直观理解的信息含义一致 不考虑收信者主观感受的不同,认为同一消息对 任何收信者,所得信息量相同。 研究内容形成和发展什么是信息 通信系统模型 3. 3. 信息的狭义概念(香农信息)信息的狭义概念(香农信息) (续(续7 7 ) 第一章:绪论第一章:绪论 l香农信息的局限: 没有考虑收
8、信者的主观特性和主观意义 研究内容形成和发展什么是信息 通信系统模型 4. 4. 信息的广义概念信息的广义概念 研究内容形成和发展什么是信息 通信系统模型 信息是认识主体(人、生物、机器)所感受的和表达的事 物运动的状态和运动状态变化的方式。 语法信息 语义信息 语用信息 第一章:绪论第一章:绪论 第一章:绪论第一章:绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 通信系统模型 2. 提高通信系统的性能指标的措施 1. 1. 通信系统模型通信系统模型 研究内容形成和发展什么是信息 通信系统模型 第一章:绪论第一章:绪论 图1 通信系统模型 1. 1.
9、 通信系统模型(续通信系统模型(续1 1) l信源 l编码器 l信道 l译码器 l信宿 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1 1)信源)信源 研究内容: l信源发出的消息的统计特性 离散信源、连续信源、波形信源 有记忆信源和无记忆信源 平稳信源和非平稳信源 l信源产生信息的速率 熵率 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续2 2) 2 2)编码器)编码器 l编码器的功能:将消息变成适合信道传输的信号 l编码器包括: 信源编码器 信道编码器 调制器 第一章:绪论第一章:绪论 研究内容形
10、成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续3 3) 第一章:绪论第一章:绪论 图2 编码器的组成 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续4 4) l信源编码器: 去除信源消息中的冗余度,提高传输的有效性。 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续5 5) l信道编码器: 将信源编码后的符号加上冗余符号,提高传输的可靠性。 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 图3 信道编码示例 1. 1. 通信系统模型(
11、续通信系统模型(续6 6) 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 l思考题: 信源编码去除冗余度,信道编码却加上冗余度,为 什么要这么做? 1. 1. 通信系统模型(续通信系统模型(续7 7) l调制器: 功能:将信道编码后的符号变成适合信道传输的信号 目的: 提高传输效率 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续8 8) 3 3)信道)信道 l狭义信道 l广义信道 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续9 9)
12、研究内容: l信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道(平稳信道)和随参信道(非平稳信道) 单用户信道和多用户信道 l信道传输信息的最高速率 信道容量 1. 1. 通信系统模型(续通信系统模型(续1010) 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 4 4)译码器)译码器 l译码器的功能:从接收到的信号中恢复消息 。 l包括: 解调器 信道译码器 信源译码器 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续1111) 第一章:绪论第一章:绪
13、论 图4 译码器的组成 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续1212) 5 5)信宿)信宿 l信宿是消息传送的对象(人或机器)。 l香农信息论不研究信宿。 第一章:绪论第一章:绪论 研究内容形成和发展什么是信息 通信系统模型 1. 1. 通信系统模型(续通信系统模型(续1313) 第一章:绪论第一章:绪论 l提高有效性: (数据压缩) 信源编码:无失真信源编码和限失真信源编码 l提高可靠性: (可靠传输) 信道编码 2.提高通信系统性能指标的措施 研究内容形成和发展什么是信息 通信系统模型 第一章:绪论第一章:绪论 一、什么是信息 二、通信系
14、统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 信息论研究的主要问题 2. 什么是信息论 3. 信息论的应用 1. 1. 信息论研究的主要问题信息论研究的主要问题 第一章:绪论第一章:绪论 通信系统模型形成和发展什么是信息研究内容 狭义信息论:又称香农信息论。 一般信息论:也叫工程信息论。 广义信息论 广义 信息论 一般 信息论 狭义 信息论 1. 1. 信息论研究的主要问题(续信息论研究的主要问题(续1 1) 1)什么是信息?如何度量信息? 第一章:绪论第一章:绪论 通信系统模型形成和发展什么是信息研究内容 2)怎样确定信源输出信息的速率? 3)对于一个信道,它传输信息的最高速率
15、(信道容量)是 多少? 1. 1. 信息论研究的主要问题(续信息论研究的主要问题(续2 2) 4)无失真信源编码,所需要的最少码符号数是多少? 第一章:绪论第一章:绪论 香农第一定理: 如果编码后的信源序列的 编码信息率不小于信源的熵,那么一定存 在一种无失真信源编码方法;否则,不存 在这样的一种无失真信源编码方法。 通信系统模型形成和发展什么是信息研究内容 1. 1. 信息论研究的主要问题(续信息论研究的主要问题(续3 3) 5)在有噪声信道中,有没有可能实现几乎无差错的传输信 息? 第一章:绪论第一章:绪论 香农第二定理:如果信道的信息传输率小于信 道容量,那么总可以找到一种编码方式,使得 当编码序列足够长时传输差错任意小;否则, 不存在使差错任意小的信道编码方式。 通信系统模型形成和发展什么是信息研究内容 1. 1. 信息论研究的主要问题(续信息论研究的主要问题(续4 4) 6)如果信源编码时,允许