《信息论课件3信息论第一章》由会员分享，可在线阅读，更多相关《信息论课件3信息论第一章（28页珍藏版）》请在金锄头文库上搜索。
1、 ,课程教材： 信息论基础理论与应用 傅祖芸 编著,吉林大学通信工程学院,参考书目,1 朱雪龙 清华大学出版社 2001 2 常 迥 清华大学出版社 TP 14/33 3 吴伟陵 人民邮电出版社 4 章照止 林须端 上海科学技术出版社 1993 TN911 2/2 5 日有木卓 人民邮电出版社 O 263/3,6 日腾田宏一 O 263/2 7 信息论基础 TN 911/1.2 8 编码和信息理论 TP 14/10 9 信息论 TN 911/2 10 信息论 TN 91/26 11 信息论基础 G 201/2 12 周荫清 北京航空 航天大学出版社 13 姜 丹 中国科学技术大学出版社 200
2、1,参考书目,本学科的理论奠基人: 香 农 shannon 先修课程: 概率论 , 随机过程, 数理统计, 通信技术.,第一章 绪 论,1.1 信息的概念,1.2 信息论研究的对象 目的和内容,1.3 信息论发展简史与现状,1.1 信息的概念,1.1.1 信息的概念,1.1.2 概念区别：信息、情报、知识、消息,1.1.3 统计信息的测度,1.1.4 自信息的定义,1.1.5 互信息定义,1.1.6 香农信息定义的优缺点,1.1 信息的概念,1.1.1 信息的概念,1. 广义信息：注重考虑形式和内容 信息社会、信息爆炸,2. 计算机中的信息：注重考虑信息的形式,3. 统计信息,定义：信息是事物
3、运动状态或存在方 式的不确定性的描述。,统计信息与内容无关，也独立于形式，是科学的定义，可以度量和计算。,1.1.2 概念区别：信息、情报、知识、消息,广义信息已包含了情报、知识、消息。,情报用来表示军事方面、文献方面获取 的信息。,知识是以实践为基础，通过抽象的思维 对客观事物规律性的概括。,消息是把客观物质运动和主观思维活 动的状态表达出来。,消息表达方式,文字书信 符号电报 数据股市 语言汉语 音符歌曲 图象电视节目,相同的信息可用不同的消息形式来载荷,相同形式的消息载荷不同的信息及信息量,消息中包含信息，消息是信息的载体。,信号携带着消息，信号是消息的运载工具 信号携带信息,发E-ma
4、il,信源编码,信道编码,传输,汉字符编码,调制器(脉冲),解调器,汉字译码,收E-mail,1.1.3 统计信息的测度,信息来自于消息。,收到消息前 收到消息后 不知 已知 不知 不确定 获得信息 知少 知多 不确定 未减少不确定 未获信息,通信的结果是消除或部分消除不确定性从而获得信息。 通信消息的传输,信息量,不确定性消除程度,概率,不确定性,随机性,随机事件,概率论,随机过程,举例1：三个随机变量 X,Y,Z的密度矩阵为,X 的不确定 程度最小,Z 的不确定 程度最大,等概率分布时，随机变量的不确定性程度最大。,举例2：两个随机变量 X,Y 的密度矩阵为,Y 的不确 定程度小,X 的不
5、确 定程度大,均等概率分布时，样本数多的不确定性程度最大。,1.1.4 自信息的定义,样本空间：某事物所有可能选择的消息集合,概率空间：样本空间和它的概率测度。,先验概率：,某消息 的自信息：,后验概率：条件概率,收到消息 后，发送端是否是 的不确定性：,1.1.5 互信息定义,表示收信者收到消息 后，已知消除的不确定性，即先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。,（1）如果信道无干扰,（2）若 ，则 ，无信息,（3）若 ，则 ， 信息量大,1.1.6 香农信息定义的优缺点,优点：(1) 科学的定义，有明确的数学模 型，可进行定量计算； (2) 与日常信息的含义一致； (3
6、) 计算结果客观。,缺点：(1) 有些事物取值的概率模型难以 建立； (2) 未考虑信息的主观性和实用性。,1.2 信息论研究的对象、 目的和内容,1.2.1 研究对象通信系统模型,1.2.2 目的信息传输系统最优化,1.2.3 信息论研究的内容,1.2 信息论研究的对象、目的和内容,1.2.1 研究对象通信系统模型,1. 信息源：简称信源 信源是产生消息和消息队列的源。 如电视直播厅，广播室，人等等 特点：信源输出的消息是随机的、不确定 的，但有一定的规律性。,2 编码器： 编码器是把消息变换成信号的措施，编码器输出的是适合信道传输的信号。 信号携带消息。,编码器,信源编码器：对信源输出的消
7、息进行 适当的变换和处理 提高信息传输效率,信道编码器：对消息进行变换的处理 提高信息传输可靠性,3 信道：指通信系统把信号从甲地传输到 乙地的媒介。,4 译码器： 把已叠加干扰的信号变换成消息。 信道译码器：信道编码器的逆变换 信源译码器：信源编码器的逆变换,5 信宿： 信宿是消息传输的对象，即接收消息的 人或机器。,1.2.2 目的信息传输系统最优化,1 可靠性高 使信源发出的消息经过信道传输后，尽 可能准确地、不失真地再现在接收端。,2 有效性高 经济效果好，用尽可能短的时间和尽可能少的设备来传送一定数量的信息。,往往提高可靠性和提高有效性是矛盾的。,3 保密性 隐蔽和保护通信系统中传送
8、的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。,4 认证性 指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被篡改的。,1.2.3 信息论研究的内容,1. 狭义信息论 经典信息论：香农主要研究信息的测度、信道容量、信源编码、信道编码理论等。,2. 一般信息论 维纳（美）、柯尔莫哥洛夫（苏），除上述内容，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论、保密理论。,3 广义信息论 新兴的信息科学理论，包括： 上述两方面内容 与信息有关的自然和社会领域，如： 模式识别 计算机翻译 心理学 遗传学 神经生理学 语言学 语义学等,1.3 信息论发展简史与现状,信息论是在长期的通信工程实践和理论研究基础上发展起来的。 电磁理论和电子学理论促进了电信系统的发展。 由信息论研究形成的分支 纠错码 纠错码理论 压缩编码 压缩编码理论 保密码 密码学理论 网络信息理论,信息论研究在近代取得的成果 1 语言信号压缩 每秒传输位数减少 2 图象信号压缩 图象信号进入通道领域 3 计算机文件压缩 达原文件25%-50% 4 计算机中的容错问题 接收纠错 5 图象信号的复原与重建 用最大熵法,
