《信息论基础52513new.doc》由会员分享，可在线阅读，更多相关《信息论基础52513new.doc（162页珍藏版）》请在金锄头文库上搜索。
1、信息论基础第一讲 信息的基本概念与预备知识一、信息的基本概念1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。3、信息具有的性质（1）无形不具实体性；（2）共享交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施 ；（3）信息是一种资源永远在产生、更新、演变，取之不尽用之不竭；（4）可度量信息的数量和质量可度量。3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获
2、得与此不定度相等的信息量。（1）甲袋有100个球，50个红，50个人白，取出一个为红；（2）乙袋有100个球，25个红，25个白，25个蓝，25个黑，取出一个为红；概率大，不确定性小，信息量小，。4、消息构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。消息具有不同的形式，如语言、文字、符号、数据、图片等。消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。5、信号信号是消息的表现形式，消息是信号的具体内容。信号是消息的载体。6、信息的传输系统信源编码信道译码器信宿二、预备知识1、全概公式2、贝叶斯公式3、条件概率4、乘法公式4、不等式三、自信息的度量
3、1、自信息随机事件发生概率为，则随机事件的自信息量为 。（1）非负性（2）随机性 是随机变量（3）单调性 概率大自信息量小（4）随机事件的不确定性在数量上等于它的自信息量。（5）单位以2为底，记作lb，单位比特（bit）；以e为底，记作ln，单位奈特（nat）；以10为底，记作lg，单位哈脱来（hat）。常用数值:lb3=1.585 , lbe =1.443 , lb10=3.322 , lb5= 2.322 ， lb7= 2.806 ，例1 见教材p9习题2.5一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得
4、到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：补充1设离散无记忆信源，其发出的信息为202120130213001203210110321010021032011223210，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：(2) 此消息中平均每符号携带的信息量是：2、联合自信息 3、条件自信息给定后还存在的不确定性。例2 见
5、教材p9习题2.4居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生） x2（不是大学生）P(X) 0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm） y2（身高 log6不满足信源熵的极值性。解：不满足极值性的原因是。（2）同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的
6、各种组合（无序）对的熵；(4) 两个点数之和（即2, 3, , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1)(2)(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)8、加权熵P32三、小结1、2、3、4、独立时，5、四、作业 P42 2.9. 2.10 ，2.11，2.15判断题1、2、若
7、X与Y独立，则3、若，则4、5、若X与Y独立，则6、解：1、F（X含一个可能的结果时）2、T （，按公式可算得）3、F4、T5、F6、T（增加条件可以减少不确定性）第三讲 平均互信息一、复习1、 2、3、4、二、平均条件互信息 1、定义2.4.1由提供的关于集的平均条件互信息量为 。2、定理：（可直接用不等式）3、定义：平均互信息4、平均互信息的性质P345、连续随机变量的互信息6、连续随机变量的平均互信息7、性质P388、 连续随机变量的熵 三、举例1、对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：
8、(1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵；(3) 从天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下： (2) 设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z 求：(3) 2、有两个二元随机变量X和Y，它们的联合概率为Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)四、小结1、2、3、4、5、五、作业: 复习第二章 小测验1一、填空1、（ ）， （ ）， （ ） 2、（ ）， （ ），（ ） 3、( ) , （ ），（ ） 4、( ) = ( ) 5、（ ），（ ）= （ ）= （ ）=（ ）二、判断题1、 （ ）2、 （ ） 3、 （ ）
