《《教育硕士信息论讲座》-精选课件（公开PPT）》由会员分享，可在线阅读，更多相关《《教育硕士信息论讲座》-精选课件（公开PPT）（60页珍藏版）》请在金锄头文库上搜索。
1、信 息 论,?,概述,“信息” 信息时代； 用计算机或电话获取、利用信息； 信息技术（IT）； 数学与信息学院,请解释一下什么叫信息？ “消息” 、“信号”、“知识”、“情报” “消息” 信息 信息论是怎样的一门学科？,概述,“信息”是当代使用频率很高的一个概念，也是 很难说清楚的一个概念。据不完全统计，信息 的定义有100多种，它们都从不同的侧面、不同 的层次揭示了信息的某些特征和性质，但至今 仍没有统一的、能为各界普遍认同的定义。,信息的定义,通信中的信息含义？,通信中信息的含义？,信息的定义,百余种流行的科学定义； 1948，控制论创始人Niener： 信息是信息，不是物质，也不是能量
2、控制论 动物和机器中通情与控制问题 首先将“信息”上升到“最基本概念”的位置 香农的信息定义 钟义信的信息定义,什么是信息？,香农其人,20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。 信息概念、“比特”,克劳德香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇
3、的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。,香农其人家庭背景,2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。,香农其人,1938年在MIT获得获得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits (继电器与开关电路的符号分析)。他注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与
4、“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”,香农其人攻读学位,1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是 An Algebra for Theoretical Genetics (理论遗传学的代数学)。,香农其人攻读学位,1948年发表论文 ： A Mathematical Theory of Communication “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者
5、近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词,香农其人信息理论,通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超过了它的实际成就”,香农其人信息理论,香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。,香农其人信息理论,热能不能完全转化为机械能，只能从高温
6、物体传到低温物体,香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。”,香农其人业余爱好,1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年；从24岁到55岁，整整31年。 1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 二战时期，香农博士是一位
7、著名的密码破译者。1949年香农发表了另外一篇重要论文 Communication Theory of Secrecy Systems 意义：使保密通信由艺术变成科学！,香农其人参加工作,香农其人荣誉奖项,是使我们的世界能进行立即通信的少数科学家和思想家之一 是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员 获得 ：1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖,佛兰克林研究所的巴兰亭奖章,美国工业电子工程协会颁发的
8、凯莱奖,美国电机和电子工程协会的荣誉奖,收到两封信（消息） ： 一封谈的是其同学最近的工作、学习状况； 一封是家信，谈的是家人的健康状况 ； 有同事问：你从那一封信中获得了更多的信息？ 进一步问： 家信含有的信息比同学来信中多多少？ #很难回答经验性的把“信息”与“消息”混为一谈,信息的定义,香农的三个观点： 1）形式化假说 通信的基本问题是在消息的接收端精确或近似地复制发送端发出的消息。通信中消息的意义和效果与通信工程没有关系。 台湾将于2008年举行总统大选！,信息的两种定义,2）非决定论 一个实际的消息总是从可能发生的消息集合中选择出来的；因此，系统必须对每种选择都能工作。,信息的两种定
9、义,3）不确定 性 人们只有在两种情况下采用通信的需要：一是自己有某种形式的消息要告知对方，而估计对方“不知道”这个消息；二是自己有某种“疑问”要询问对方，而估计对方能做出一定的解释。,信息的两种定义,香农的信息定义： 信息是用来消除 不确定性的东西。,信息的两种定义,（1）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。 （2）定义没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。,
10、香农信息定义的局限性,钟义信的信息定义： 信息是 事物运动的状态与方式， 是物质的一种属性。,信息的两种定义,预备知识,消息是用语言、文字、数据、符号、音 符、图像等能被人们的感觉器官所感知的 形式，对客观物质运动和主观思维活动的 一种表述。,消息： 中国男子足球队将获得2008年奥运会 团体冠军。,人们也常常错误地把信息等同于消息，认为得到消息，就是得到了信息。 例如，当人们收到一封电报，接到个电话，收听了广播或看了电视等以后，就说得到了“信息”。 人们通过通信，接收到消息后，得到的是关于描述莱事物状态的具体内容。例如，听气象广播，气象预报为“晴间多云”，这就告诉了我们某地的气象状态而“晴间
11、多云”这广播语言则是对气象状态的具体表述。,预备知识,消息中包含信息，是信息的载体。得到消息，从而获得信息。,知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到有价值的、人们所需的信息。知识是一种具有普遍和概括性质的高层次的信息。,预备知识,例：有一堆A、B两所大学学生的考试成绩数据。 为了了解A、B两所大学学生的学习成绩水平的差别，而进行统计处理，得到张曲线图。,预备知识,知识是以实践为基础，通过抽象思维，对客观事物规律性的概括。知识信息只是人类社会中客观存在的部分信息。,知识是信息、但不等于信息的全体,情报学中定义： 情报是人们对于某个特定对象所见、所闻、所理解而产生的
12、知识。 如“对敌方情况的报告”、 “文献资料中对于最新情况的报道或者进行资料整理的成果”等！,预备知识,在各种实际通信系统中，往往为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合信道传输的物理量，这种物理量称为信号 (如电信号，光倍号，声信号，生物信号等等)。 信号携带着消息，它是消息的运载工具。 例、汉文消息不能直接在信道中传输。一般，需先将汉文(例如“借钱5分”)变换成四位码，然后变换成由点、划和空隔三种符号组成的莫尔斯码，再转换成脉冲电信号，然后经过调制变成高频调制电信号，才能在信道中传输。此时，脉冲电信号或高频调制电信号都载荷着汉文消息，表述借了5分钱的一种
13、状态。,预备知识,信息理论,信息论统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 发展的观点信息科学所不可缺少的理论基石,什么是信息理论？,信息论研究的对象、目的和内容,信息论对象信息传输系统,统一的通信系统模型,信源：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。,通信系统模型,编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的
14、可靠性。,通信系统模型,调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。,通信系统模型,解调器：从载波中提取信号，是调制的逆过程 MODEM,通信系统模型,信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。,通信系统模型,干扰源：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；,通信系统模型,信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序
15、列转换成适合接收者接收的信息形式。,通信系统模型,信宿：消息传送的对象 （人或机器 ）。,通信系统模型,在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。,通信系统模型,信息论研究的对象、目的和内容,一、 研究对象 前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律。 二、研究目的 找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。,由
16、以上四个指标所讨论的系统优化就构成了最著名的 C. E. Shannon三个编码定理。,可靠性 使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。 有效性 经济性好，即用尽可能短的时间和尽可能少的设备来传送定数量的信息。 保密性 隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 认证性 接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。 有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。,信息论研究的对象、目的和内容,信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科。 它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化； 它的主要
