《信息论与编码基础教程第二章》由会员分享，可在线阅读，更多相关《信息论与编码基础教程第二章（196页珍藏版）》请在金锄头文库上搜索。
1、,本章第二次课,本章第三次课,本章第四次课,本章第五次课,复习:,1. 信息的基本理论的出处,美国科学家C.E.Shannon 于1948年发表的著名论文通信的数学理论.,2.什么是信息,信息是事物运动状态或存在方式的不确定性的描述。,（香农）,3.基本通信系统的组成,2.1信源及分类 2.2单符号离散信源 2.3多符号离散信源 2.4连续信源 2.5冗余度,第2章 信源及信源熵,本次课讲的内容,相关知识复习 2.1信源及分类 2.2单符号离散信源 2.2.1单符号离散信源的数学模型 2.2.2自信息量,概率论知识复习,基本事件：随机试验的每一个可能的结果（样本点）。 样本空间：基本事件的集合
2、。 复杂事件：多个基本事件所组成的事件。 随机事件：无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。,相关知识复习,事件域： 基本事件和复杂事件是样本空间的子集，所有子集的全体。 概率空间：三要素 样本空间、事件域(集合)、概率。 事件A的概率：A中样本点数与样本空间中样本点之比。 先验概率：根据以往的统计规律得到的。,相关知识复习,必须掌握的概率论知识,1）条件概率2）联合概率,相关知识复习,3)全概率： 设 B1 , B2 , 是一列互不相容的事件(B i B j = 0）， 且有B1B2=（样本空间）； P(Bi)0,i=1，2，则对任一事件A，有：,相关知识复习,4)贝叶
3、斯(Bayes)公式:设B1,B2 , 是一列互不相容的事件(B i B j = 0）， 且有B1B2 =（样本空间）；p(Bi)0 ，i=1，2，则对任一事件A，有：,相关知识复习,第2章 信源及信源熵,2.1信源及分类 1.信源的描述 直观地说:信源就是信息的来源。 确切地说:信源是产生消息（符号）、消息序列、连续消息的来源。,2.1信源及分类,信源发出了消息，消息载荷着信息，信息具有不确定性。从数学分析上看，由于消息具有的不确定性，因此信源可以看成是产生随机变量、随机序列（矢量）和随机过程的源。在实际通信中最常见的信源有话音、文字、图像、数据等。,2.1信源及分类,从信源发出的消息在时间
4、上和幅度上的分布来考虑分类，可将其分为离散信源和连续信源。 离散信源：指发出在时间和幅度上都是离散分布的离散消息的信源。如：文字、数字、数据、字母等。,2.信源的分类,2.1信源及分类,离散信源又可分为无记忆离散信源和有记忆离散信源。 无记忆离散信源:发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关系。各个符号的出现概率是它自身的先验概率。无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。,2.1信源及分类,有记忆离散信源: 发出的各个符号是相关联的。表述起来很困难。有记忆离散信源又可分为发出符号序列的有记忆离散信源和发出符号序列的马尔可夫信源
5、。,2.1信源及分类,当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1 X2Xi-1Xi XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1 Xi-2 Xi-m取什么符号有关，与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。,2.1信源及分类,连续信源：指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。如：语言、图像、视频等。,2.1信源及分类,2.2单符号离散信源,2.2.1 单符号离散信源的数学模型单符号离
6、散信源输出的消息是以一个符号的形式出现.如：文字、数字、字母、等符号。信源每次只发出一个符号代表一个消息，可用离散随机变量来描述。,2.2单符号离散信源,2.2单符号离散信源,定义一个离散无记忆信源是由n个符号消息组成的集合:X= a1，a2 an ，,这n个符号消息的概率分布是：,称为符号ai 的先验概率,散信源数学模型表示为：,从概率的角度看，可以将符号消息ai 看一个随机事件。因此ai 具有不确定性。,0p(ai)1，,注意：大写字母X、Y、Z等代表随机变量，指的是信源的整体；而带有下标的小写字母ai，bj，ck等代表随机事件的某一结果或信源的某个元素。,2.2单符号离散信源,【例2.2
7、-1】掷一颗质地均匀的骰子研究其下落后朝上一面的点数，每次实验结果必然是1，26点中的某一个面朝上。信源输出的消息是“朝上面是一点”，“朝上面是两点”，“朝上面是六点等，六6个不同的消息。每次实验只能出现一种消息，出现哪一种消息是随机的，但必是六6种情况中的一种。用ai,(i=1,6)来表示这些消息，得到信源的样本空间为符号集A=a1,a2,a3,a4,a5,a6。,2.2单符号离散信源,各消息都是等概率出现的，用一个离散型随机变量X来描述这个信源的输出的消息。这个随机变量X的样本空间就是符号集A，X的概率分布就是各消息出现的先验概率：p(a1)=p(a2)=p(a3)=p(a4)=p(a5)
8、=p(a6)=1/6,信源的数学模型为:,2.2单符号离散信源,2.2.2 自信息量1.自信息量定义定义:一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。,2.2单符号离散信源,当随机事件ai发生以前，I(ai)表示事件ai的不确定性；当随机事件ai发生以后，I(ai)表示事件ai所含有(或所提供)的信息量。注意:信息量是数值，信息量单位只是为了表示不同底数的对数值，并没有量纲的含义。,2自信息量的意义,2.2单符号离散信源,2.2单符号离散信源,【例2.2-2】英文字母中“e”出现的概率是0.105，“c”出现的概率是0.023,“o”出现的概率是0.001。分别计算其自信
9、息量。 解：“e”:I(e)=20.105=3.25(比特)“c”:I(c)=20.023=5.44(比特)“o”:I(o)=20.001=9.97(比特),2.2单符号离散信源,【例2.2-3】某地二月份天气的概率分布统计如下：晴天的概率是1/2，阴天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求此四种气候的自信息量分别的是多少？,解：数学模型如下：这四种气候的自信息量分别为:I(a2)=2(比特)，I(a3)=3(比特），I(a4)=3(比特)。,2.2单符号离散信源,(1) I(ai)是非负值 随机事件发生的概率为p(a),则p(a)0，1，p(a)为负值,由对数性质可知,
10、若 p(a)为负值，则- p(a)恒为非负值.,3.自信息量I(ai)性质,2.2单符号离散信源,当p(a)=1时，I(a)=0 P(a)=1说明该事件是必然事件,不含有任何不确定性,所以不含有任何信息量。, 当p(a)=0时,I(a) = P(x)=0说明该事件是不可能事件。不可能事件一旦发生,带来的信息量非常大。称信息爆炸。,2.2单符号离散信源, I(a)是p(a)的单调递减函数,p(a)0，1，1/ p(a)1，,且随着p(a)的增大而减小。 由式I(a)=p(a)可知 I(a)=1/p(a)也随着p(a)的增大而减小。 用求导的方法也很容易证明I(a)是p(a)的单调递减函数。,2.
11、2单符号离散信源,I(a,b)= I(a)+ I(b),可加性,注：a是一个随机变量,I(a)是a的函数,也是一个随机变量。,如两个独立信源符号一起出现,P(a,b)=p(a)p(b)；,2.2单符号离散信源,2.2单符号离散信源,4.联合自信息量,两个随机事件的离散信源数学模型为,其中0p( )1(i=1,2,n;j=1,2,m)。,联合自信息量，用I( )表示，即：,I( )=2p( ),当X与Y相互独立时,I( )=2p( ),说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。,2.2单符号离散信源,5.条件自信息量,定义:在二维联合集
12、XY中，设在bj条件下，发生ai的条件概率为p(ai/bj)，那么它的条件自信息量I(a/bj)定义为：,表示在特定的条件(bj已定)下，随机事件ai发生所带来的信息量。,2.2单符号离散信源,6.自信息量、联合自信息量和条件自信息量 三者之间的关系,2.2单符号离散信源,【例2.2-4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量?,解:设事件A为女孩是大学生；设事件B为女孩身 高1.6米以上。则: p(A)=0.25p(B)=0.50p(B/A)=0
13、.75,2.2单符号离散信源,2.2单符号离散信源,“身高1.6米以上的某女孩是大学生” 表明在B事件发生的条件下，A事件发生,所以其概率为p(A/B)。由贝叶斯定律公式:由 “身高1.6米以上的某女孩是大学生” ，获得信息量为,【例2.2-4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量?,【例2.2-5】一信源有4种输出符号码，Xi(i=0,1,2,3)，且p(Xi)=1/4。设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为
14、0.9。于是信源再次向信宿发送该符号(X3)，信宿无误收到。问信源在两次发送中发出的信息量各是多少?信宿在两次接收中得到的信息量又各是多少?,2.2单符号离散信源,解:第一次收到的符号为y，第二次发送无误收到，发、收信息量相等，则I(X3/y)=-log2p(Xi/y)=-log20.9=0.15(比特)第一次发出的信息量为I(X3)=-log2p(Xi)=-log20.25=2(比特)第一次传送的信息量为两次发送信息量之差，即 I(X3;y)=I(X3)-I(X3/y)=1.85(比特),2.2单符号离散信源,2-1同时掷2颗色子，事件A、B、C分别表示:(A)仅有一个色子是3；(B)至少有
15、一个色子是4；(C)色子上点数的总和为偶数。试计算事件A、B、C发生后所提供的信息量。,2-2设在一只布袋中装有100只对人手的感觉完全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列三种情况: （1）红色球和白色球各50只； （2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。,2-3一信源有6种输出状态，概率分别为p(A)=0.5，p(B)=0.25，p(C)=0.125，p(D)=p(E)=0.05,p(F)=0.025。试计算H(X)，然后求消息ABABBA和FDDFDF的信息量(设信源先后发出的符号相互独立的
16、)，并将其与长度为6位的消息序列信息量的期望值相比较。,1.什么是信源:,是发出消息的源，是信息的来源。,2.信源的分类,连续信源,离散信源,复习,例: 离散无记忆信源 单个符号 X=0, 1 X=A, B , ,Z 符号序列 X=00, 01, 10, 11 X=AA, AB , ,AZ, BA, BB, , BZ , , ZZ,3.信源的数学模型,复习,4、自信息一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。 I(xi)=logp(xi),复习,本次课内容,2.2.3 信源熵 2.2.4 信源熵的基本性质和定理,1信源熵定义 我们已知单符号离散无记忆信源的数学模型,2.2.3 信源熵,2.2.3 信源熵,自信息量指的是某一信源发出某一消息所含的信息，不能作为整个信源的信息测度。信源整体的信息量如何测定呢？我们可以定义信源各个离散消息的自信量的数学期望为信源的平均信息量，以此来测定信源整体的信息量。,
