信息论与编码理论

《信息论与编码理论》由会员分享，可在线阅读，更多相关《信息论与编码理论（109页珍藏版）》请在金锄头文库上搜索。

1、信息论与编码理论杨 文通信工程系信息论基础 的重要性 信息论是信息科学和技术的基本理论 ,信息科学大厦的地基 ; 没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情 ; 总之 ,信息论是高层次信息技术人才必不可少的基础知识。课程类型： 专业选修课学 时： 54教 材 ： 信息论与 编码理论 , 王育民，李晖，梁传甲，高等教育出版社 ， 2009参考教材： （ Elements of Information Theory, 英文影印） ,Thomas M.Cover, Joy A.Thomas ,清华大学出版社， 2003 (The Theory of Information and

2、 Coding,英文影印版 )(第 2版 ), Robert J.McEliece,电子工业出版社 , 2005.3考 核 ： 平时 成绩 30 （作业、考勤、期中测验）期末 考试 70 （闭卷）上课地点 、 时间： 星期二 ,第 8-10节 (14:55-17:25 AM),测绘校区 , 附 3-301 (Every week 1-18)答疑 地点 、 时间： 地点：教学实验大楼十楼信号处理实验室 1008; 时间：星期四， 2:30-5:00,PM 其它答疑方式： 电子邮件： ; 办公 电话： 027-68778181Here you can find me! E-mail： Tel(O)

3、： 027-68778181课程基本内容 ch1 绪论绪论 ch2 信息量和熵信息量和熵 ch3 离散信源无失真编码离散信源无失真编码 ch4 信道及信道容量信道及信道容量 ch5 信道编码定理信道编码定理 ch6 线性分组码线性分组码 ch7 卷积码卷积码 ch9 限失真信源编码限失真信源编码教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法 (用信息论的思想和观点 )学习方法本本 课程以概率论为基础，数学推导较多，学习时要 把把 注意力集中到概

4、念的理解 上，不过分追求上，不过分追求数学细节的推导 。学习 时一定要从始至终注意基本概念的理解，不断加深概念的把握 。注意 理解各个概念的 “用处” ，结合其他课程，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考 ，注重思考在学习中的重要性。对学习者的要求 三个重要环节 课前预习 课上认真听讲 课后认真复习消化、作业 经常进行阶段复习 掌握知识的窍诀：反复思维实践 欢迎大家及时提出反馈意见，以便更好的进行互动教学。其他约定 不得迟到、早退、缺课，有事请假 上课时请关闭手机 作业不得用纸片信纸之类，必须使用作业本 迟交的作业及纸片做的作业恕不修改，只作记录录计分方式 期终考

5、试 成绩 占占 70 平时成绩 占占 20（ 平时作业平时作业 10 考勤 10） 作业：一次不交扣 1分，无故缺席一次扣分，无故缺席一次扣 1分，迟到分，迟到一次扣 0.5分分 手机声响扣 1分分 严重违反课堂纪律，视情节轻重扣分 期中考核占 10%信息论与编码理论信息论与编码理论Claude E. Shannon(1916/04/30-2001/02/26)伟大的科学家香农 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息 ”。 这是数学家香农（ Claude E.Shannon）在他的惊世之著 通信的数学理论 中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信

6、系统，从而创立了影响深远的信息论。Shannon的主要贡献Copy from lectures of Prof. Wang YuminShannon一生写了 127篇文章 1，与我们当今有些发文数百篇的年轻学者相比实在有点少，但他的每篇文章都极富洞察力，为我们提供了全新的新思想，很多文章都开辟了崭新的研究方向！ 1938年发表 继电器和开关电路的符号分析 一文曾获电气和电子工程师学会 (IEEE)的 Alfred Noble奖，是 20世纪中的一篇最重要也是最为著名的硕士论文，成为数字电路设计的一个 里程碑。 这篇文章是在 1937年成文的，当时他还是 MIT的一名学生。 在这篇文章他告诉人们

7、：“如果我们有一天能发明计算机，要使它能够思索的话，一定会是采用二元码和串在一起的开关，并应用布尔（ Boole）逻辑系统实现的结果。” 1940年的博士论文 An Algebra for Theoretical Genertics 1， 3，是数字控制系统和计算机科学的先驱工作 。 1948年发表的 通信的数学理论 文章 7，创建了信息论，这是一篇 20世纪少有的几篇对科学和工程，乃至对人类社会发展产生了重要影响著作，是可与牛顿力学相媲美的不朽之作，也是他最重要的科学贡献。这使他成为信息论之父，时年仅 32岁。作为数学家，他为数学开辟了一个工程应用的新领域。这篇文章虽然在 1947年完成，但

8、至今仍然闪烁着智慧的光芒，它将照耀人类今后的数个世纪。“通信的基本问题是在彼地精确地或近似地重现此地所选的消息”，这句话将通信的本质表述得多么清晰！它所给出的信道容量方程（ C = Wlog2(1+ S/N)，W：信道带宽， S/N：信噪比 ， C：信道容量），指出了通过信道实现错误概率为零时可传输的最大信息速率，即 Shannon极限，这是一个罕见的、漂亮、简洁而又有效的理论结果 。著名信息论和编码理论教授 Robert G. Gallager曾说过：“ Shannon发现了在所有通信中最基本的元素就是二元数字”。“这的确是他的发现，从此萌发了整个通信领域的（数字化）革命”。这篇著作一发表就

9、在通信工程界引起了极大反响，财富（ Fortune）杂志立即称此理论为：一个人的最杰出和最令人为之骄傲的创造，一个伟大的、能够迅速而深刻地改变人们对于世界看法的科学理论。 Shannon为通信工程师们点亮了灯塔，为他们的探索指明了工作的方向。应当指出，这篇文章发表后曾遭受到某数学家的抨击，责难 Shannon的一些结果未经证明，在数学上不严格，靠不大住。Shannon对此评论说，“我不喜欢他的评论，他并未仔细看这篇文章，你可以将每一小的推断都一行一行地用数学写写出来，或者你可以假定读者已明白了你所讲的。我确信我是正确的，我清楚地知道我所做的，它给出的所有结果都恰好是正确的。 ”今天，这一理论已

10、被广泛地应用，从空间探测、卫星通信、无线移动通信，到硬盘驱动器、光盘存储等。信息论的应用已远远超出了通信领域，从基因学、分子生物学、神经系统、脑科学到心理学、艺术、音乐、社会学、语言学、经济学，甚至庭院设计。 1949年发表了“ Programming a computer for playing chess，” 1， 54这也是人工智能的一个先驱工作。 1965年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师 Mikhail Botvinnik，一起对弈和讨论了计算机编程下棋。 1980年 Shannon还作为特邀贵宾参加了在奥地利 Linzjuxingde

11、国际计算机象棋冠军赛，贝尔实验室的“ Belle”获得了冠军，已接近象棋大师水平。1997年年 IBM造出了“深蓝”计算机，装入 了计算机程序序 chatterbot ALICE， 并战胜了俄国国际象棋大师和并战胜了俄国国际象棋大师和世界 冠军 Garry Kasparov。这 是人类第一次用自己制造的机器在智能上（更确切地说是在下国际象棋的能力上）战胜了自己 。 1950年他构建了老鼠走迷宫机器 Theseus， 1951年发表的 Presentation of a maze solving machine1， 70，是一篇计算机学习的先驱著作。这也 是人工智能的一个先驱工作。 1953年

12、Shannon曾构建了“心灵阅读（ Mind reading）”机 1， 73，可通过观察、记忆和分析对方过去所选硬币的正、反面的图样，试图猜测对方下一次可能选择。这是一种博弈游戏。 Shannon的阅读机曾和贝尔的同事，这种机器的发明人 D. W. Hagelbarger进行对弈，并赢得胜利。与 E. F. Moore合作研究，用增加接点的冗余度来提高继电器电路可靠性 1， 88-90，这一研究与有扰信道传信问题密切相关 。 1956年与 J. 麦卡锡合编的著名论文集 自动机研究 1， 37是自动机理论方面的重要文献。1959年发表的 Coding theorems for a discre

13、te source with fidelity criterion 文章 1， 118创建了率失真理论，在连续消息和离散消息之间架上了一座桥梁，从而给数字化提供了一个基础和有效的工具 。 1960年发表的 Two-way communication channel 文章 1， 119，创建了多用户信息论。 Shannon曾提出将信息论用在生物系统，在他看来，机器的和生命的事物是有共同性的，当你问他是否能思考时，他会回答说；我是一个机器，你是一个机器，我们都能思考，对吗？今天，生命信息论已有不少研究了 4。 Shannon还做过将信息论用于最佳投资策略问题的研究，他认为股票市场是一种“受扰信号”

14、，与时间序列相关联，问题是要通过适当选择和调整证卷投资组合，使效用函数达到极大值 。 1966年获美国国家科学奖章，由前总统 Lyndon B. 约翰逊颁发。为了表彰 Shannon的伟大功绩， IEEE Information Society 的 25名成员于 2000年 10月 6日 在 Shannon的儿童时代的 老家 Michigan的Gaylord举行了 Shannon塑像的落成典礼 。Claude Elwood ShannonFather of Information Theory ， Electrical engineer, Mathematician, and native s

15、on of Gaylord. His creation of information theory, the mathematical theory of communication, in the 1940s and 1950s inspired the revolutionary advances in digital communications and information storage that have shaped the modern world.This statue was donated by the Information Theory Society of the Institute of Electrical and Electronics Engineers, whose members follow gratefully in his footsteps.Dedicated October 6, 2000Edgene Daub, SculptorShannon虽然已于 200