《信息论基础：第一章 绪论》由会员分享，可在线阅读，更多相关《信息论基础：第一章 绪论（32页珍藏版）》请在金锄头文库上搜索。
1、第一章 绪论q什么是信息？(信息的一般含义)q信息理论研究的基本模型q信息论的研究范围及本课程的内容E-mail, Web browsingShoppingLocation-based servicesMovies, Games, Music为什么研究信息？信息无处不在（Information anywhere )信息的表现形式(1)q“信息”是作为通道的消息来理解的。 信宿信道信源图 通信的简化模型 “信息”是人们在通信时所要告诉对方的某种内容。 q“信息”是作为运算的内容而明确起来的。 美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的控制论与社会一书中认为“信息是人与外
2、界相互作用的过程中所交换的内容的名称”。此时“信息”是人们进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形式。 信息的表现形式(2)计算机某种过程输入信息输出信息补充信息图 计算机的运算或控制机理信息的表现形式(3)工作学习情况 家人健康情况 同学父母例：问题1：哪封信的信息量大？问题2：信息量究竟大多少？q质量、能量和信息量是三个非常重要的量。l质量：秤，可称量l能量：热功当量，能量守恒定律 单位：焦耳l信息量： 关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如 何去解决了
3、。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被提上日程。信息论发展 1948年 A Mathematical Theory of Communication(通信的数学理论) 标志着信息论的正式诞生。第一次提出了信息量的定义(信息熵)。并阐明了通信的基本问题，给出了通信系统的模型。技术上解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。信息论发展 Claude Elwood Shannon 香农 “通信的基本问题是消息的接受端精确地或近似地复制发送端所挑选的消息”什么是信息？ 形式化假说排除了语义信息和语用信息的因素，提供了用
4、数学方法描述和度量信息的可能性。 q形式化假说 p非决定论什么是信息？通信对象的一般特性统计特性数学工具概率论与数理统计“一切有通信意义的消息的发生都是随机的！” q不确定性什么是信息？l自己有某种形式的消息要告诉对方，而估计对方“不知道”该消息。l存在某种“疑问”，要询问对方，而且估计对方能做出一定的解释。通信活动的机制和本质： 通信后，消除了或部分消除了通信前存在的不确定性。 信息(Information)就是用来消除不确定性的东西。 什么是信息？例： 中国女子乒乓球队获得奥运会冠军。不确定性可能性概率中国男子足球队获得世界杯赛冠军。 什么是信息？ 信息的大小由事件发生的概率所决定，出现的
5、概率越大，信息量就越小；出现的概率越小，信息量就越大。 运用通信技术与数学方法（概率论、随机过程、数理统计）系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：阐明通信系统传递的对象就是信息对信息给予科学的定量描述提出了信息熵的概念什么是信息？消息：用文字、符号、数据、语言、图片、图像等能被人感知的形式，把客观物质运动和主观思维活动（信息）表达出来信息：逻辑的抽象的概念，它是事物运动状态或存在方式不确定性的描述信息和消息的概念 信息和消息的概念 信息和消息的关系： 信息是抽象的，消息是具体的。信源发出的是消息，消息中蕴涵着信息，是信息的载体。因此在通信过程中，形式上传递的是消息，实际
6、上传递的是信息 研究对象-信息传输系统 课程研究的对象就是信息传输系统 .研究对象-信息传输系统 信号信号信号信号S S信号信号信号信号S+NS+N噪声噪声噪声噪声等效信道等效信道等效信道等效信道编码器编码器编码器编码器解码器解码器解码器解码器消息消息消息消息消息消息消息消息后续课程安排 消息消息消息消息消息消息消息消息第二章第二章:信息量信息量第三章信道第三章信道与信道容量与信道容量第四章第四章:无失无失真信源编码真信源编码第五章第五章:有有噪信道编码噪信道编码第六章第六章:信信息率失真息率失真理论理论需要解决的问题：什么是信息什么是信息? ? 如何度量信息如何度量信息? ?怎样确定信源的输
7、出中含有多少怎样确定信源的输出中含有多少信息量信息量? ?对于一个信道对于一个信道, ,它传输信息量的最高极限它传输信息量的最高极限( (信道容信道容量量) )是多少是多少? ?为了能够无失真地传输信源信息为了能够无失真地传输信源信息, ,对信源编码时对信源编码时所需的最少的码符号数是多少所需的最少的码符号数是多少? ? ( (香农第一定理香农第一定理). ).在有噪信道中有没有可能以接近信道容量的信息在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零传输率传输信息而错误概率几乎为零? ? ( (香农第二香农第二定理定理). ).如果对信源编码时允许一定量的失真如果对信
8、源编码时允许一定量的失真, ,所需的最所需的最少的码符号数又是多少少的码符号数又是多少? ? ( (香农第三定理香农第三定理). ).由于互联网的建立和发展，对安全和保密的要求研究对象-信息传输系统 信息论研究的目的 有效性：在一定的时间内，传输尽可能多的信息。信源编解码的作用是提高信息传输的有效性；可靠性：使信息准确、无失真的传输到接收端。信道编解码的作用是提高信息传输的可靠性。保密性：安全性。信息论的研究范围及本课程的内容信息论是从统计学的观点研究信息系统，主要研究信息系统的可靠性和有效性，以及两者的关系 信息论的基本问题是信源和信宿、信道以及编码问题。香农信息论压缩理论有失真信源编码无失
9、真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码图 香农信息论的科学体系广义信息论定义定义 对于两个事件A、B,若P(A)0,则称 P(B|A）=P（AB）/P（A）为事件A出现的条件下，事件B出现的条件概条件概率率。(1) (1) 条件概率条件概率条件概率条件概率相关概率复习对于两个事件A与B， 若P(A)0,则有 P(AB)=P(A)P(B|A), 若P(B)0,则有 P(AB)=P(B)P(A|B),若P(AB)0,则有 P(ABC)=
10、P(A)P(B|A)P(C|AB)乘法公式乘法公式相关概率复习对 于 n 个 事 件 A1 ,A2,An 若 P ( A1A2An-1 ) 0，则 有 P ( A1A2An) =P(A1)P(A2|A1)P(A3|A1A2)P(An|A1A2An-1)相关概率复习乘法公式乘法公式乘法法则一般用于计算乘法法则一般用于计算n个事件同时发生的概率个事件同时发生的概率定义定义 若事件A与B满足 P(AB)=P(A)P(B), 则称A与B相互独立，简称A A与与B B独立独立。 推论推论1 A.B为两个事件,若P(A)0, 则A与B独立等价于P(B|A)=P(B). 若P(B)0, 则A与B独立等价于P
11、(A|B)=P(A).注意注意 从直观上讲,A与B独立就是其中任何一个事件出现的概率不受另一个事件出现与否的影响.相关概率复习全概率公式全概率公式 设是随机试验E的样本空间,事件组 A1,A2,An满足：则 对于任何一个事件B，有 P(B)=P(A1)P(B|A1)+P(An)P(B|An)相关概率复习 贝叶斯贝叶斯(Bayes)公式公式 :设是随机试验E的样本空间,事件组 A1,A2,An满足，则 对于任何一个正概率事件B，有 相关概率复习注意注意1.以上两个公式中的A1,A2,.,An可以看作是导致事件B出现的因素;2.P(Aj|B)一般称为 “后验概率后验概率”;Bayes公式又称为“后验概率公式”或“逆概公式”;P(Aj)对应可以称为“先验概率先验概率”.相关概率复习
