《信息论与编码-第1章》由会员分享，可在线阅读，更多相关《信息论与编码-第1章（26页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码 Information Theory and Coding哈尔滨理工大学电子信息工程专业 杨广学2010年7月课程简介l培养方案：与电路、电子技术、信号与系统、数字信 号处理、通信原理与系统以及单片机原理及应用等课 程同属于必修的学科基础课l本课程特点：本身理论性很强；涉及线性代数、概率 论与随机过程、抽象代数（近世代数）等数学理论l学习方法：课堂-多媒体教学，课后-多看书、写阅读笔 记、多做练习l考核的方式及成绩的评定 ：平时成绩30%（作业30% 、实验成绩30%、上课出勤40% ）、期末成绩70% l教材：曹雪虹 张宗橙编信息论与编码（第2版）， 清华大学出版社，2009年
2、版 教学参考书1、唐朝京、雷菁编著信息论与编码基础电 子工业出版社2010年版 2、余成波主编信息论与编码重庆大学出版 社2002年版 3、Ranjan Bose “Information Theory, Coding and Cryptography”机械工业出版社2003年影 印版第1章 绪论1.1 信息论的形成与发展 1.2 通信系统的模型有关“信息”的一些基本概念（1）l信息时代（Information Age）德国社会学家R.布 吉顿斯坦对信息时代的定义是：“人们花费在个人交 往和信息交流的时间大大超出了消耗在工业产品生产 上的时间”l信息技术（Information Technol
3、ogy，IT）凡是能 够用来扩展人的信息功能的技术都是信息技术；有关 数据与信息的应用技术。其内容包括：数据与信息的 采集、表示、处理、安全、传输、交换、显现、管理 、组织、存储、检索等有关“信息”的一些基本概念（2）l信息科学（Information Science）对获取信息并对 其进行传输、交换、处理、检测、识别、存储、显示 等操作的科学研究l信息论（理论）（Information Theory）是应用近 代概率统计方法来研究信息传输、交换、存储和处理 的一门学科。是源于通信实践发展起来的一门应用学 科有关“信息”的一些基本概念（3）l信息（INFORMATION)信息一词来源于人们的
4、通信实践活动，在日常生活中，信息是指“消息”、“情 况”、“知识”、“情报”等等l信息是一个十分抽象而又复杂的概念。至今为止，尚 无一个能被普遍认可的定义。因为“信息”是一个非常 高层次的概念l目前比较被人们认同的定义：认识主体（人，生物和 机器）所感知的或所描述的相应事务的运动状态及其 变化方式有关“信息”的一些基本概念（4）l1928年，美国数学家Hartley在BSTJ上发表论文“信息传输” ，文中把信息理解为选择通信符号的方式，并用选择的自由 度来计量信息的大小l1948年，美国数学家Shanoon在BSTJ上发表论文 “A Mathematical Theory of Communi
5、cation”，深刻阐述了通信 工程中一系列基本理论问题，但没有给出信息的确切定义l1950年，美国数学家、控制论的主要奠基人Winner在出版 的控制论与社会中认为：信息是人与外界相互作用的过 程中所的内容的名称。这一定义未得到人们的认可。后来 Winner自己认识到：“信息既不是物质又不是能量，信息就 是信息”有关“信息”的一些基本概念（5）l信息的特征信息来源于物质，但又不是物质本身，它从物质的运动中产生出来， 又可以脱离源物质而相对独立地存在信息来源于精神世界，但又不限于精神领域信息与能量息息相关，但又与能量有本质的区别信息具有知识的本质，但比知识的内涵更广泛信息是具体的，并且可以被信
6、息主体所感知、提取、识别，可以被传 递、存储、变换、处理、显示、检索和利用信息可以被众多主体所共享信息可以产生，也可以消失信息是可以度量的，信息量有多少的差别1.1 信息论的形成与发展l信息论的发展过程1924年，H. Nyquist， 信息率与带宽联系1928年，R.V. Hartley, 引入非统计信息量1936年，E.H. Armstrong， 带宽与抗干扰能力1936年，H. Dudley, 发明声码机40年代初，N. Wiener, “控制论”1948年， “信息论”发展史的里程碑 C.E.Shannon, “ A Mathematical Theory of communicati
7、on ”, Bell System Tech., J, vol.27, PP 379-423, July 1948 50年代开始，IRE成立信息论组，出版信息论汇刊1.1 信息论的形成与发展l信息论的形成与发展1952年，Fano和Huffman分别离散信源最佳编码方法1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion”( 保真度准则下的离散信源编码定理)1961年，Shannon, “双路通信信道”，多用户理论1972年，Cover, 开始对广播信道进行研究1.1 信息
8、论的形成和发展l三大定理无失真信源编码定理（Shanoon第一极限定理）信道编码定理（ Shanoon第二极限定理）限失真信源编定理（ Shanoon第三极限定理）lShannon信息论：在噪声环境下，可靠地、安全地 、有效地传送信息理论 -狭义信息论1.1 信息论的形成和发展l信息与消息、信号比较消息是信息的数学载体、信号是信息的 物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的1.1 信息论的形成和发展l信息、消息、信号信息是抽象的、非物理的，是哲学层表达消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它也是信息 的载荷体。是信息论
9、中主要描述形式 信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体，是信息的物理 层表达1.2 通信系统的模型信道编码信源编码保密译码信道译码信源译码保密编码噪声信道信源信宿通信系统模型方框图l本质信息的传输系统l目的把接收方不知道的信息及时、完整、安全、可靠、经济地传送给指定的接收方1.2 通信系统的模型l信源发出载有信息的“消息”的源（可 以是人、生物、机器或其他事物，是事物 各种运动状态或存在状态的集合）l信宿载有信息的“消息”的接收端（消 息传送的归宿）1.2 通信系统的模型l编码器信源编码器、信道编码器、保密编码器l信源编码对信源输出的消息进行变换和处理目的
10、提高信息传输的有效性l保密编码目的是保证信息的安全性l信道编码对消息进行的变换和处理目的提高信息传输的可靠性1.2 通信系统的模型l信道信号从甲地传输到乙地的通道l狭义信道信号的传输媒质(介)。例 明线、电缆、波导、光纤、无线电波空间等l广义信道除狭义信道外，还包括通信系统某些部分l信道噪声通信系统各处干扰、噪声的集中等效体现1.2 通信系统的模型l译码器编码器功能之反l也分成信源译码器、信道译码器、保密译码器三种l对通信系统模型的说明 对实际通信系统，还应包括换能、调制、发射等各 种变换处理上述模型只针对一对一单向通信系统。还有一对多 单向系统（广播），一对一双向系统（电话），多对 多双向系
11、统（会议电视）等信息论研究对象及内容l信息论的研究对象是消息传输系统。由于消息中包含着信 息，所以消息传输系统也是信息传输系统，简称通信系统 。人们通过消息的传输和处理过程来研究信息传输和处理 过程中的共同规律。 l研究一个概括性很强的通信系统，其目的就是要找到信息 传输过程的共同规律。一旦总结出这种共同规律，就可以 用来指导具体通信系统的设计，使设计出来的各种通信系 统具有更高的可靠性和有效性。l所谓可靠性高，就是要使信源发出的消息经过信道传输以 后，尽可能准确地、不失真地再现于接收端。而所谓有效 性高，就是经济效果好，即用尽可能短的时间和尽可能少 的设备来传送一定数量的信息。两者的结合就能
12、使系统达 到最优化。信息论中的概率论基础l无条件概率、条件概率、联合概率满足以下关系：随机事件的完备性信息论中的概率论基础l 乘法定理因此，乘法定理为若 和 两个矢量统计独 立，则信息论中的概率论基础l Bayes(贝叶斯)公式l 数学期望若随机变量I(xi)发生的概率分布为p(xi)，则该随机变量 I(xi)的统计平均值称为随机变量I(xi)的数学期望，记为其中信息论中的概率论基础l Jensen(詹森)不等式对于随机变(向)量 X，若有函数 f(X) 为上凸函数，则参阅：傅祖芸编著信息论基础理论与应用中， 附录A. p.422练习题l包装好的玻璃器皿第一次落地摔碎的概率为0.4，若未碎第
13、二次落地摔碎的概率为0.6，若仍未碎第三次落地摔碎的概 率为0.9，求落地3次打破的概率。l对以往数据分析的结果表明，当机器调整的良好时，产品 的合格率为90%，而当机器发生某一故障时，其合格率为 30%，每天早晨机器开动时，机器调整良好的概率为75% ，试求某日早上第一件产品是合格品时，机器调整的良好 的概率是多少？l甲乙两人进行打靶，甲击中靶心的概率为0.6，击中靶子边 缘的概率为0.3，脱靶的概率为0.1，乙击中靶心的概率为 0.5，击中靶子边缘的概率为0.4，脱靶的概率为0.1，试评 定甲乙二人的成绩好坏。克劳德香农(Claude Elwood Shannon，1916- 2001)1
14、916年4月30日诞生于美国密西根州的Petoskey 。在Gaylord小镇长大，当时镇里只有三千居民。父亲 是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是 Mabel Wolf Shannon。他生长在一个有良好教育的环 境，不过父母给他的科学影响好像还不如祖父的影响大 。香农的祖父是一位农场主兼发明家，发明过洗衣机和 许多农业机械，这对香农的影响比较直接。此外，香农 的家庭与大发明家爱迪生(Thomas Alva Edison，1847 -1931)还有远亲关系。 香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就” 后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔 实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert 、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两 个可爱的孙女。 人物简介 克劳德香农
