《信息科学基础讲义三卷1-4》由会员分享，可在线阅读，更多相关《信息科学基础讲义三卷1-4（24页珍藏版）》请在金锄头文库上搜索。
1、周次：第 1 次 时间： 2007 年 9 月 4 日章节：无作业：无提纲：一、前言1. 课程名称a. 信息科学b. 信息科学基础c. 信息科学的重要性d. 信息与计算科学e. 信息技术与信息科学2. 课程特点a. 课程地位和适用专业b. 大量应用数学知识c. 外延很广d. 纵向内容很深e. 贴近日常生活3. 学习方法a. 认真听讲b. 勿畏难、勿轻略c. 认真完成作业正式开始学习这本书的内容之前，先了解一些关于课程的情况，这就是今天前言的内容，有三个方面，一是课程名称，再一个是课程特点，最后是学习方法。有一句古话大家可能听说过，“名可名，非常名。道可道，非常道。”这句话是道德经中的第一句话，
2、大家可能都知道道德经是古代著名的哲人老子写 的。为什么我会提到这一句话呢，其实我们在刚开始认识一个事物的时候或者学习一个新的知识或新的课 程时，往往会从名字下手，所谓名正则言顺。那么请问，有人知道这门课程的名称吗？那位同学知道？（信息科学基础）咱们用的这本书叫什么？（信息理论基础）这两个名字不一样的，是吧。那么，它们之间有 什么关系？这门课程到底学什么？学了这门课对大家有什么帮助？这些问题，可能是大家每次接触一门新 课，都会带的疑问。通过这次课，大家会找到这些答案。定义 信息科学这门课程的名称叫信息科学基础。我们先来分析一下这个名称。分成两部分，信息科学的基础。那么 信息科学又是什么？到这里，
3、我们已经有经验了，就好像剥洋葱一样。信息科学就是信息的科学，也就是 研究信息的科学。看来只要把语文学好，这些名词术语我们是可以分析岀一个大概的。这里我们给岀信息 科学的定义：“信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）作为主要研 究目标的一门科学。”这个定义岀自信息科学原理这本书，作者是钟义信教授，他是中国有名的信息学 专家。大家最近可能比较喜欢看中央台的百家讲坛，钟义信教授在百家讲坛上有一个内容叫“人工智能与 现代社会”，大家有机会可以找来看看。我们回过头来接着看信息科
4、学，从定义上我们可以看到这么几个方面：（1）研究对象一一信息；（2）研究内容一一信息的性质和运动规律（信息产生的规律、信息获取的规律、 信息再生的规律、信息施效的规律、信息传递的规律、信息系统优化或自组织的规律、信息过程智能化的 规律）；（3）研究方法三个方法和两个准则，即信息系统分析方法、信息系统综台方法、信息系统进化方重要性法、功能准则和整体准则；（4）研究目标一一扩展人类的信息功能，后者的有机整体便是智力功能。一信息科学知道了什么是信息科学，咱们再看一看信息科学的重要性。信息科学是现在一个非常时髦的学科。广播、电视、报纸、杂志和网络等媒体中，充斥着类似的时髦术语，大家耳熟能详的有：信息社
5、会、信息技 术（Information Technology, IT ）、信息革命、信息化等等。只要和信息沾上边，就是最热门的。大家也可以 从就业市场看到，IT行业的人才需求一直都非常大。那么大家为什么对信息科学这么热衷？我们从人类历 史的发展和科学进步的角度来观察，人类有一个非常强烈的愿望就是要不断地从自然力的束缚下解放自己，超越自己。手段是依赖各种工具，制造工具是人区别于动物的本质，动物是可以利用工具的，但是动物不 能制造工具。在古代，主要是利用物质资源（就是材料），制造以人为动力的工具，这样来扩展人的体质功能，举个例子：用铁制造一把铁锹，帮助人们从事农业劳动。近代呢？主要是利用能量资源（
6、也就是能源） 来制造动力工具，这样扩展人的体力功能，举个例子：以柴油为动力的收割机，一名驾驶员一天可以收几 百亩地的麦子。现代社会呢？由于信息科学技术的发展，它可以把信息资源转化成为知识，制造各种智能 工具，举个例子：全自动生产线，无人工厂，机器人。因此有一种说法：材料科学、能源科学、信息科学是现代文明的三大支柱。可见信息科学的产生是历史发展的必然趋势，因此在当前这个信息社会中了解信 息科学、掌握信息技术，是非常有意义的，也是非常重要的。定义信息科学基础我们知道了什么是信息科学，也知道了信息科学的重要意义。那么信息科学的基础是什么呢?信息理论（这是咱们课程的内容）。作为常识我们了解一下这三大论
7、的创始人，分别是 贝塔朗菲，美籍奥 地利生物学家，本世纪四十年代；维纳，美国数学家，1948年，控制论；香农，美国数学家，1948年，通信的数学理论。这三大理论是二战后产生的具有高度综合特性的横向科学。“三论”作为高度综合的普遍化的理论，它横跨自然科学和社会科学两大领域，在哲学、社会科学和自然科学之间架起了相互贯通 的桥梁。因此准确的说信息理论（简称信息论）是信息科学的基础之一（通常把“之一”省略掉，就说信 息理论是信息科学的基础），信息理论的研究范围，后面会提到，如果研究的是 广义信息，那么广义信息理 论就是信息科学，如果研究的是 狭义信息，那么狭义信息理论又称为信息理论基础，就是信息科学研
8、究内 容的一部分。这样大家应该明白信息科学基础这个课程名称的含义，以及与本书名称一一信息理论基础之 间的关系了吧。I讨论信息与计算科 学我们的专业名称是信息与计算科学专业，我们大多数同学长期以来可能都有这样的疑惑到底什么是信息与计算科学？可能到现在还说不太清楚。其实信息与计算科学 这个名称是并列关系， 是信息科学与计算科学，信息科学通过前面的讲述我们已经比较明确了，那么什么计算科学呢？计算科学主要是指用计算机实现计算的研究，这个计算可以是广义的计算也可以狭义的计算。准确地说法是：计算科学是对描述和变基本换信息的算法过程，包括其理论、分析、设计、效率分析、实现和应用的系统研究。全部计算科学的问题
9、是：什么能（有效地）自动进行，什么不能（有效的）自动进行。学科来源于对数理逻辑、计算模型、 算法理论、自动计算机器的研究，形成与上世纪30年代后期。我们学过专业课程数值计算或计算方法就属讨论信息技术与信息科学于计算科学范畴的课程。那么我们明白了什么是信息科学，也知道了什么是计算科学，合在一起就是信息 与计算科学，我们对这个专业研究什么内容，就大概有一些认识了。此外还有一个信息技术的术语，像我们学校还有一个信息技术学院。大家可能有这样的疑惑，信息技 术和信息科学有什么区别？我们举例说明，很多同学多少都接触过一些计算机方面的知识，比如信息技术 学院的课程，VC+、数据库原理、计算机网络等等。这些都
10、属于信息技术的范畴，也就是说这些知识比 较实用，与工作生产和工程实施比较贴近。科学就属于理论范畴 了，内容相对而言就比较抽象一些，并且由大量的数学推理，因此课程难度的差别是很明显的。并且技术是由理论指导的，举个例子来说，用VC+ 开发一个利用Huffman编码对文件进行压缩的软件，这是属于信息技术。而研究如何改进Huffman编码或者研究一种新的编码方法，来提高压缩效率，这就属于信息科学这个理论研究的范畴。当然理论范畴的内 容涉及的数学知识自然就非常多，这个问题我们在下面的课程特点里面再详细说明。好，刚才讨论了什么是信息科学、信息科学的重要性、信息科学基础是什么，最后为大家介绍了信息引题与计算
11、科学专业与信息技术学院相关专业的区别。通过这些介绍，我想大家可能长期困惑的问题一一我们课程的特点这个专业到底是做什么的、研究什么的，有一定的认识了吧。接下来，我为大家报告一下这门课程的特点。信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代彳 论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关特点系，因此信息论已成为大学诸多专业的必修课和选修课。以往较多的是在通信工程、课程的地位,适用的专业。电子工程、信息工程等专业开设，近年来，由于专业调整，国内在数学学科下开办了“信息与计 特点运用了大量的 数学知识。学”专业，该专业的开办顺应了
12、现代高科技对数学日益增长的需要，信息论也自然成为该专业的必修课或 主要选修课。信息论课程中运用了大量的 数学知识，覆盖理工科学生在一、二年级学的所有数学知识,这些数学知识包括：高等数学、线性代数、离散数学、概率论和随机过程。例如：在讨论连续信源熵时，需要对连续信源概率密度进行积分运算；在讨论离散信源熵的最大值或信道容 量的最大值时，要计算多元函数的条件极值；在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要 用到矩阵的运算和性质；在讨论纠错码的译码时，需要用到群、域和环的概念和理论；当然由于信源的数 学模型是随机变量或者随机过程，因此概率论和随机过程的公式在课程中比比皆是。此外，信息论的理论
13、 体系中很多定理都伴随复杂的数学证明，最明显的就是香农三定理（无失真信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理 ）的证明，再加上课程中很多概念非常抽象，这些都为学习和教学带 来了相当的困难。 信息论课程的 外延很广，除了大量运用数学课的基础知识，信息论课程的内容还与很多其他专业课有特占着紧密地联系。这些内容或者在其他专业课中进行不同角度的探讨，或者在其他专业课程中得到实际具体外延很广。的应用。最典型的例子就是 Huffman编码，信息论课程中它是一种变长离散信源编码方法，这里主要讨论 该编码方法为什么是最优的（也就是更接近于香农第一定理的极限）；这个内容还岀现在数据结构课程中，
14、该课程主要从算法的角度讨论最优二叉树的生成和遍历问题；此外，它还岀现在离散数学课程中，该课程主要是用树的数学形式对二元关系这种离散问题进行研究和讨论。另一个非常典型的例子是计算机网络课程里的ATM，ATM信元首部有8位的首部差错控制字段（HEC），它是根据首部其余的 32比特计算出来的,8 2用来编码的多项式为 x x x 1，这个码多项式问题在信息论的循环码（纠错码的一种）中有详细论述。特点 课程的纵向内 容很深。信息论课程的 纵向内容很深，通常信息论课程都把教学的目标和重点锁定在香农狭义信息论 上，也就是三大块内容：信息的统计测度、信道容量和信息率失真函数，以及香农的三个重要定理：无失真离
15、散信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理。一般在讨论编码定理的同时会简要的介绍几种编码方法，比如无失真离散信源编码方法有Shannon码、Fano码和Huffman码，纠错编码有Hamming 码、线性分组码和循环码。如果需要对编码内容进行深入探讨，可以将其组成独立的课程，如信源编码课特点程、纠错编码课程、密码学以及数据压缩原理等等。例如，对于专门的信源编码课程，就可以从离散信源、课程贴近大家 的日常生活。连续信源和相关信源的角度对编码的理论和方法进行全方位和深入地介绍。信息论与我们大家的 日常生活息息相关。每个同学都打过电话吧，没有打过的举手我 看看。语音信号在信道中传输，如果能够进行较大的压缩，就可以在相同带宽信道中增加同时通话的数量。语音编码速率在1972年从64kbps降到了 1992年的13.2kbps如果你不满足会打电话，还想知道这个通信里面的原理，你可以从这门课程去探索。有同学用过压缩软件吗？Windows平台下常见的压缩软件有Winzip和WinRAR。这些通用的压缩软件可以减小计算机文件存储的尺寸。它用的是LZW编码的一种变形，称为通用数据压缩格式标准zip。如果你不满足会使用压缩软件，还想知道这个里面的原理，你可
