《信息论作业幻灯片》由会员分享，可在线阅读，更多相关《信息论作业幻灯片（17页珍藏版）》请在金锄头文库上搜索。
1、信息论,主要内容：,1、信息的定义 2、什么是信息论 3、信息论的研究内容和目的 4、信息论的形成与发展,信息的一般概念,1、古老而现代的话题。 说它古老，人类很早就有意识地传递信息；中国古代的烽火狼烟就是一个例子。说它现代，直到现在对信息也没有一个公认的定义。,2、信息定义上的困惑,信息的各种定义； 信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是物质和能量在时间和空间中分布的不均匀性； 信息是能够用来消除随机不确定性的东西 ,各种信息定义都从不同层次、不同侧面描述了信息的某些特征，但至今尚无一种定义能够为社会各界所一致接受。,信息的定义：,信息是事物运动状态或存在方式的不确定性的
2、描述 不仅仅是形式上的消息或情报，而且包括消息或情报所含的对事物状态或不确定性的描述,信息论,1948年，香农发表了“通信的数学理论”(A Mathematicsl Theory of Communication)，创立了信息论，开始对信息的数量化研究。,为理解香农用数量描述的信息，从最简单的通信系统谈起：,信源,编码器,信道,译码器,信宿,噪声源,统计特性与信息测度,传输可靠有效,信道容量,信源(source)是提供消息的人、机器或事物；,信道(channel)是传递消息的通道。,信宿(destination)是接收消息的人、机器或事物；,消息是由图像、声音、文字、数字等符号组成的序列。,消
3、息的传递则有时需要借助于载体；如用纸写字并传递纸，纸就是载体。,承载消息的载体称为信号；现代最便于传输的信号是电信号和光信号，相应的信道如电缆、传输电磁波的空间和光缆等。,从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。 因此，人们更感兴趣的是消息中所包含的未知成分，用概率论的术语来讲，就是具有不确定性的成分，香农将该成分称为信息，并进行了数量描述。 三者的关系：通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。,香农信息论也称为狭义信息论，研究从通信系统引出的基础理论问题。归纳起来其研究内容包括： 信息熵、信道容量和信息率失真函数； 无失真信源编码定理
4、、信道编码定理和保真度准则下的信源编码定理； 信源编码、信道编码理论与方法。,一般信息论的研究内容,几乎在香农创立信息论的同时，另一位美国科学家、控制论(Control Theory, Cybernetics)的奠基人维纳(N.Wiener)将人或机器与外部环境所进行的交换看成广义的通信，将信息理解为广义通信的对象。,一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。,何为广义信息论，至今并无定论,目前比较公认的说法为，广义信息论是从客观和主观两个方面全面研究信息的度量、获取、传递、存储、处理和施用的技术科学。,在这个意义上，人们更愿意将广义信息论称为信息科学。,信息科学的研究内容,信息科学是由一般信息论发展起来的，目前它已渗透到通信与电子、计算机、自动化、微电子与材料、光学与光电子等工程学科以及经济、管理、心理、生物、社会、哲学等非工程学科。,可见，信息科学的研究内容极为广泛，是目前最活跃的技术科学之一,谢谢大家！,
