信息论与编码---第1章概论

《信息论与编码---第1章概论》由会员分享，可在线阅读，更多相关《信息论与编码---第1章概论（50页珍藏版）》请在金锄头文库上搜索。

1、长江大学电信学院第1章 概论1.1 信息的概念1.2 信息论的研究对象、目的和内容1.3 信息论的形成和发展1长江大学电信学院X1.1 信息的概念 信息的产生与传播 信息的定义与分类 信息的特征与性质2长江大学电信学院X1.1.1 信息的产生与传播信息这一概念是在人类社会互同情报的实践过程中产生的。人类社会的生存与发展，时刻都离不开 接收信息、传递信息、处理信息和利用信息。花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；中国古代烽火台上点燃的烽火狼烟是一种信息，它一级一级地向后方传递着军情；在当时条件下，这的确是一种快速的信息传递方式。1.1 信息的概念3长江大学电信学院X1.1 信息的概

2、念在照相机纪录影像之前，人们通过绘画纪录人的面貌，当然，绘画肖像也是一种信息。照相机拍下的影像较之绘画肖像显然要真实得多。4长江大学电信学院X1.1 信息的概念信息革命推动了社会的进步信息的五次变革1.声音、手势和语言2.文字符号进入人类社会3.印刷术提供了新的信息活动手段4.电磁波开始传播信息5.计算机与通信的完美结合5长江大学电信学院X1.1 信息的概念信息时代1.信息量急剧增加2.以电子工业为中心的新兴工业正蓬勃发展3.社会劳动力结构发生很大变化物质产品知识产品信息科学技术知识已经成了最重要的战略资源。信息作为资源，如何开发、利用、共享是人们普遍关注的问题。6长江大学电信学院X1.1 信

3、息的概念人类发展与信息传播人类发展的历史是沿着信息不断膨胀的方向前进的 。在信息量小、传播效率低的社会，发展速度缓慢；而信息量大、传播效率高的社会，发展速度就快， 一日千里。信息技术的高速发展使得人类获取信息的深度、广 度已今非昔比。如，互联网发展的速度远远超过了 以前传播方式。7长江大学电信学院X1.1 信息的概念无线电广播问世38年后，拥有5000万听众；电视诞生13年后，拥有同样数量的观众；而互联网从1993年对公众开发，到拥有这个数量的 用户只花了4年时间。推动信息革命和信息技术发展的三项技术微电子技术：信息技术的“细胞”通信技术：信息技术的“神经”计算机技术：信息技术的“大脑”8长江

4、大学电信学院X1.1 信息的概念信息科学是一门综合性学科，它是研究信息及其运动规律的 科学。其内容包括，信息的本质及其度量，信息的产生、获取、传 播、处理和施效的规律；研究的目的是扩展人类获取和利用信息的能力。信息技术是运用信息科学的研究成果来解决生产实际问题， 具体内容包括：感测技术（信息获取）通信技术（信息传输）计算机技术（信息处理）自动控制技术（信息施效）9长江大学电信学院X1.1 信息的概念信息产业是专门从事信息生产、传播、出售和服务 的产业。包括：信息技术设备制造和信息服务等。10长江大学电信学院X1.1 信息的概念1.1.2 信息的定义与分类1.信息的定义信息就是信息，即不是物质也

5、不是能量。（1948年，维纳）信息是事物之间的差异。（1975年，朗格）信息是物质和能量在时间和空间的不均匀性。信息是物质的普遍属性。信息是集合的变异度。信息是一种场。信息是系统的复杂性。信息是事物相互作用的表现形式。11长江大学电信学院X1.1 信息的概念信息是事物联系的普遍形式。信息是收信者事先所不知道的报导。信息是用以消除随机不定性的东西。信息是使概率分布发生变动的东西。信息是负熵。12长江大学电信学院X1.1 信息的概念信息的通俗概念在日常生活中，信息常被认为是“消息”、“情报”、 “知识”等。信息与它们有密切联系，但是信息的含 义要更深刻、更广泛。消息和消息并不是一回事，不能等同。举

6、例来说，有人告诉你一条消息，这条消息告诉了 许多原来不知道的新内容，这条消息就很有意义， 信息量就大；反之，如果这条消息告诉的是原来就 已经知道的内容，那么这条消息意义就不大，信息 量就小。13长江大学电信学院X1.1 信息的概念情报往往是军事、文献方面的习惯用词，含义要“ 信息”窄得多，它只是一种特定的信息；知识是一种具有普遍性和概括性质的高层次的信息 。14长江大学电信学院X1.1 信息的概念消息是信息的载荷者，消息具有不同的形式，例如 语言、文字、符号、数据、图片等，所有这些形式 都是能够被人们感觉到的。这些形式构成消息的条件有两个：1.能够被通信双方理解；2.可以在通信中传递和交换。在

7、日常生活中，我们得到是一些描述各种主客观事 物运动状态或存在形式的具体消息。需要指出的是，同一个消息可以含有不同的消息量 ，而同一信息可以用不同形式的消息来载荷。15长江大学电信学院X1.1 信息的概念信号是消息的表现形式，消息则是信号的具体内容 。信号是消息的载体，是表示消息的物理量。随时间而变化的电压或电流称为电信号。电信号和非电信号可以比较方便地相互转换。在实 际应用中常常将各种物理量，如声波、光强度、机 械运动的位移或速度等，转变为电信号，以利于传 输。信号携带信息，但不是信息本身。同样，同一信息 可用不同的信号来表示；同一信号也可以表示不同 的信息。如：红、绿灯信号。在十字路口在电子

8、仪器面板上16长江大学电信学院X1.1 信息的概念信息不是消息，也不同于信号。三者是即有区别又 有联系的三个不同的概念。信息是一个十分抽象而又复杂的概念。它包含在消 息之中，是通信系统中传送的对象。17长江大学电信学院X1.1 信息的概念信息是构成客观世界的三大要素之一物质、能量和信息是构成客观世界的三大要素。没有物质的世界是虚无的世界；没有能量的世界是死寂的世界；没有信息的世界是混乱的世界。信息是物质的属性，信息虽不等同于物质本身，但 它不可能脱离物质而独立存在，必须以物质为载体 ，以能量为动力。三者相辅相成，缺一不可。信息是物质和能量在时间和空间中分布不均匀程度 。18长江大学电信学院X1

9、.1 信息的概念辞海对信息作了如下解释：通信系统传输和处 理的对象，泛指消息和信号的具体内容和意义。通 常须通过处理和分析来提取。信息、物质和能量被 称为系统的三大要素。信息和物质的量值与信息的 随机性有关，如在接收端无法预估消息或信号中所 蕴含的内容或意义，即预估的可能性越小，信息量 就越大。科学技术大系信息是认识主体（人、生物、机 器）所感受的或所表达的事物运动的状态和运动状 态变化的方式。信息是人们在适应外部世界和控制 外部世界的过程中，同外部世界进行交换的内容。19长江大学电信学院X1.1 信息的概念2.信息的分类研究信息的目的，就是要准确地把握信息的本质和 特点，以便有效地利用信息。

10、在众多的分类原则和方法中，最重要的就是按照信 息性质的分类。按照性质的不同可以把信息划分成 三个基本类型：语法信息、语义信息和语用信息其中最基本也是最抽象的类型是语法信息。它是迄 今为止在理论上研究最多的类型。20长江大学电信学院X1.1 信息的概念信息分类有许多不同的准则和方法： 按照信息的性质，可以分成语法信息、语义信息和语用信息。 按照观察的过程，可以分成实在信息、先验信息和实得信息。 按照信息的地位，可以分成客观信息和主观语用信息。 按照信息的作用，可以分成有用信息、无用信息和干扰信息。 按照信息的逻辑意义，可以分成真实信息、虚假信息和不定信息 。 按照信息的传递方向，可以分成前馈信息

11、和反馈信息。 按照信息的生成领域，可以分成宇宙信息、自然信息、社会信息 和思维信息。 按照信息的应用部门，可以分成工业信息、农业信息、军事信息 、政治信息、科技信息、文化信息、经济信息、市场信息和管 理信息21长江大学电信学院X1.1 信息的概念语法信息是事物运动的状态和状态改变方式本身。它不涉及这些状态的含义和效用，是最抽象最基本的层次。它只研究事 物运动各种可能出现的状态，以及状态之间的关系。香农的信息定义正是属于这个层次，是从概率统计角度来研究事物运动各种可能出现的状态及状态之间的关系，因此是概 率性的语法信息。语义信息是事物运动的状态和方式的具体含义。研究信息的具体含义。语用信息是事物

12、运动的状态和方式对观测者的效用，或者是相对于某种目的的效用。它研究事物运动的状态和方式与使用 者的关系，即研究信息的主观价值。22长江大学电信学院X1.1 信息的概念1.1.3 信息的特征与性质1.信息的特征信息是无形的信息是“活”的信息来源于客观事物，人们能够直接或间接感知它 ，它是人脑思维活动的反映，可以说，人脑是信息 的主要载体。它是动态的，有很强的时间性，如： 股票市场信息，瞬息万变，只有及时把握有效的信 息才能获得信息的最佳价值。信息是可共享的信息是可扩充的23长江大学电信学院X1.1 信息的概念信息是能产生实效的信息是可以处理的 信息是可度量的信息是可以快速传播并扩散信息作为一种资

13、源，它的无限性、共享性和开放性 ，使它对于人类具有特别重要的意义。24长江大学电信学院X1.1 信息的概念1)信息是无形的信息不同于物质和能量，它是看不见、摸不着的， 它不具有实体性。信息是一个十分抽象的概念。信息本身是看不见、 摸不着的，它必须依附于一定的物质形式，如文字 、声波、电磁波等。这种运载信息的物质，称为信 息的载体。一切物质都有可能成为信息的载体。物质、能量是有形的资源，而信息却是一种抽象的 、无形的资源。然而，有效开发利用信息资源，能 够促使我们更加有效、更大规模的开发利用物质资 源。25长江大学电信学院X1.1 信息的概念2)信息是可共享的信息是可共享的信息的交流不会使交流者

14、失去原有的信息，且还可以获得新的信 息。信息共享是无限的信息可以由甲传递给乙，又可以由乙传递给丙，信息的共享性，对人类社会的发展起到了积极推动作用。信息扩散越快、越广，就会加速人类社会的文明进程。但是，现实的人类社会在各方面都存在着激烈的竞争，例如军事 中的电子综合战、商业活动中的市场竞争等。这些现象阻碍了信息 性质的发挥。信息虽具有共享性，原占有者不会因信息传递而丢失这个信息， 但占有者和获得者可以利用同一个信息进行竞争和对抗。因此，在 信息占有和传播方面，存在着斗争。为了限制信息的共享，加设密 码、数据库保密等措施就是这种斗争的产物。 26长江大学电信学院X1.1 信息的概念3)信息是可扩

15、充的信息像物质、能量一样，对于人类也是一种资源。信息作为事物运动状态和状态的一般描述，和事物 及它们运动一样是永恒的、无限的。信息如海阔天空，永远在产生、更新、演变，是一 种取之不尽、用之不竭的源泉。信息存在于任何事物之中，有物质的地方就有信息 ，信息充满整个物质世界。信息的无限性还表现在时空上的可扩展性。例如今 天气象台报告的气象数据所包含的信息，明天就不在 有效，明天又会产生新的信息。27长江大学电信学院X1.1 信息的概念4)信息是可度量的信息论中最重要的问题，就是要解决信息数量与质 量的度量。信息度量应满足信息的三个基本方向：结 构的、统计的和语义的。结构理论是研究大量信息的离散结构的

16、。它通过简 单计算信息元方法，或用大量的信息简易编码所提供 的组合方法对信息进行测量。统计理论是利用熵的概念，作为统计发生概率的不 确定性度量，从而得出这些或那些消息的信息量。语义信息，即研究信息的具体含义。28长江大学电信学院X1.1 信息的概念2.信息的性质普遍性：信息是普遍存在的。无限性：在整个宇宙时空中，信息是无限的。相对性：对于同一个事物，不同的观察者所获得的信息可能 不同。转移性：信息可以在时间或空间上从一点转移到另一点。变换性：信息可以是变换的，它可以同不同的载体和不同的 方法来载荷。有序性：信息可以用来消除系统的不定性，增加系统的有序 性。动态性：一切活的信息都随时间而变化。转化性：从潜在的意义上讲，信息是可以转化的。它在一定 条件下，可以转化为物质、能量、时间或其它。29长江大学电信学院X1.2 信息论的研究对象、目的和内容通信系统模型信息论内容30长江大学电信学院X1.2 信息论的研究对象、目的和内容1.2.1 通信系统模型信息论或称为通信的数学理论，是应用近代数理统计方法研究信息的度量、传输、存储、交换与处理的一门学科。它是通信