信息论与编码课件(第二章).

《信息论与编码课件(第二章).》由会员分享，可在线阅读，更多相关《信息论与编码课件(第二章).（61页珍藏版）》请在金锄头文库上搜索。

1、信息理论与编码 主讲：樊 荣 电气信息工程学院 电气信息工程学院 (fanrong11 ) 第二章 离散信源及其信息测度 电气信息工程学院 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源* 2.7 信源剩余度与自然语言的熵* 本章主要内容： 离散信源及其信息测度 本章重、难点内容： 了解信源的分类及其数学模型 掌握事件自信息量的定义及计算* 掌握信息熵的定义及其计算* 知道信息熵的各种性质（其中极值性为重点） 能计算无记忆扩展信源的熵 知道离散平稳信源 电气信息工程学院 2.1 信源的数

2、学模型及分类 在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的 ，所以可以用随机变量、随机矢量或随机过程来 描述信源输出的消息，或者说用一个样本空间及 其概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。 电气信息工程学院 信源输出的消息用随机变量描述 电气信息工程学院 特征：输出是单个符号（代码）的消息，符号集的 取值 是有限的或可数的，可用一维离 散型随机变量X来描述。 A = a1, a2 , a q 如：投硬币、书信文字、计算机的代码、电报符号 、阿拉伯数字码等等 数学模型： 应满足： 连续信源 电气信息工程学院 特征：输出是单

3、个符号（代码）的消息，输出消息 的符号集A的取值是连续的，可用一维的连续型随 机变量X 来描述 如：语音信号、热噪声信号、遥控系统中有关电压 、温度、压力等测得的连续数据等等。 数学模型： 或 并满足 或 2、平稳随机序列信源 总体特征：信源输出的消息由一系列符号序列所 组成，可用N维随机矢量 X(X1,X2,XN)描述 ，且随机矢量X 的各维概率分布都与时间起点无 关 平稳！ 离散平稳信源：输出的随机序列 中每 个随机变量 取值是离散的，并且随机 矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每 个随机变量 取值是连续的，并且随机 矢量X的各维概率密度函数不随时间

4、平移而改变 电气信息工程学院 离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计 独立，即各随机变量Xi (i1,2,N)之间统计 独立。 性质如下： 独立P(X)= P(X1,X2,XN)=P1(X1)P2(X2)PN(XN) 平稳 P1(X1)=P2(X2)= = PN(XN) 电气信息工程学院 离散无记忆平稳信源 设各随机变量Xi取自同样符号集A:a1,a2,aq， 则有 其中 是N维随机矢量的一个取值,即 是符号集A的一维概率分布。 由符号集A与概率测度 构成的信源空间 称由该信源空间描述的信源为离散无记忆信源 电气信息工程学院 离散无记忆信源X的N次扩展信源 特征：由离

5、散无记忆信源输出N长的随机序列构 成的信源称为离散无记忆信源的N次扩展信源。 数学模型：X信源空间的N重空间 电气信息工程学院 有记忆信源 信源在不同时刻发出的符号之间是相互依赖的， 即信源输出的平稳随机序列X中，各随机变量Xi 之间相互依赖。 需在N维随机矢量的联合概率分布中，引入条件 概率分布来说明它们之间的关联。 电气信息工程学院 如：汉字组成的中文序列中，只有根据中文的语 法、习惯用语、修辞制约和表达实际意义的制约 所构成的中文序列才是有意义的中文句子或文章 。所以，在汉字序列中前后文字的出现是有依赖 的，不能认为是彼此不相关的。其他如英文，德 文等自然语言都是如此。 M阶马尔可夫信源

6、 特征：信源每次发出的符号只与前m个符号有关 ，与更前面的符号无关。 电气信息工程学院 数学模型: 时齐马尔可夫信源：上述条件概率与时间起点i 无关 3、信源输出的消息用随机过程来 描述 随机波形信源：信源输出的消息是时间 （或空间）上和取值上都是连续的函数 语音信号X(t),电视信号X(R(t),G(t),B(t)等 电气信息工程学院 信源的分类图 随机 变量X 离散信源： 连续信源： 分层 （量化） 可能输出的消息数是有限的或可数的， 每次只输出一个消息，即两两不相容。 可能输出的消息数是无限的或不 可数的，每次只输出一个消息。 随机 矢量X 非平稳 信源： 平稳 信源： 马尔可夫信源：输

7、出的随机序列X中各随机变量之间有依 赖关系，但记忆长度有限，并满足马尔可夫链的条件式 输出的随机序列X中每个 随机变量Xi取值是离散的 ，并且随机矢量X的各维 概率分布不随时间平移改 变 离散平 稳信源： 连续平 稳信源： 输出的随机序列X中每个随 机变量Xi取值是连续的，并 且随机矢量X的各维概率密 度函数不随时间平移改变 取 值 分 层 离散无记忆信源的N次扩展 信源： 输出的平稳随机序列X中各随机 变量统计独立。每个随机变量Xi 取值于同一概率空间，N各符号 构成一组等效为一个新信源 有限记忆信源（二维） 输出的随机序列X中各随机变量之 间有依赖关系，但记忆长度有限 随机过程随机波形信源

8、： 信源输出的消息是时间（或空间）上和取值上都是连续的函数。 取 样 定 理 2.2 离散信源的信息熵 单符号离散信源的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。 不可混淆! 电气信息工程学院 问题：这样的信源能输出多少信息？每个消息的 出现携带多少信息量？ 2.2.1 自信息 设离散信源的概率空间为： 电气信息工程学院 称事件ai发生所含有的信息量为ai的自信息量。 定义为： I(ai)有两种含义： （1）当事件ai发生以前表示ai发生的不确定性 （2）当事件ai发生以后表示ai提供的信息量 自信息量单位的说明 自信息量的单位取决于对数的底；

9、 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： 1 nat = 1.44bit , 1 hat = 3.32 bit； 一般计算都采用以“2”为底的对数，为了书写 简洁，常把底数“2”略去不写。 电气信息工程学院 例2.2.1 某地二月份天气的概率分布统计如下： 电气信息工程学院 这四种气候的自信息量分别为多少？ 这里比特指抽象的信息量单位，与计算机中“比 特”的含义有所不同，它代表二元数字（binary digits）。这两种定义之间的关系是

10、每个二元数 字所能提供的最大平均信息量为1比特。 例2.2.2 设有12个形状完全相同的球，一个球的重量 与其它球不同，其它球等重。为了用天平（无砝 码）称出这个不同重量的球，问至少称多少次？ 电气信息工程学院 解：设“在12个形状完全相同的球中，某一个球 为重量不同的球”这事件为a，“该球比其它球 重还是轻”为事件b,其出现概率分别为： 事件a、b的自信息量分别为 这两事件独立，消除不确定性所需的自信息量为 I需I(a)+I(b)=log244.585比特 电气信息工程学院 天平称一次可判断重、轻、相等三种等概率情况， 概率为13,所以天平测一次能获得信息量为 I获log31.585比特 于

11、是至少称的次数为 可得至少必须称3次才能找出那个重量不同的球。 从理论到实践：思考称3次找出重量不同的球的具 体办法？ 2.2.2 信息熵 对于一个信源发出不同的消息所含有的信息量也 不同。所以自信息I(ai)是一个随机变量，不能 用它来作为整个信源的信息测度，我们用信息熵 来描述整个信源的信息量。 电气信息工程学院 定义：自信息的数学期望为平均自信息量H(X)，称 为信息熵。 熵的计算 有两个信源 电气信息工程学院 通过计算，说明第二个信源的平均不确定性更大一 些，信源X2比信源X1提供的信息量更大。 则这两个信源的信息熵分别为： 计算2 有一布袋内放l00个球，其中80个球是红色的，20个

12、球是白 色的。随便摸出一个球，猜测是什么颜色，那么其概率 空间为： 如果被告知摸出的是红球，那么获得的信息量是： I (a1) log p(a1) log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为： I (a2) log p(a2) log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特/符号） 电气信息工程学院 信息熵的含义 电气信息工程学院 熵是从整个集合的统计特性来考虑的，它是从平 均意义上来表征信源的总体特征的。含义如下： 1、在信源输出后，信息熵H(X)表示每个消息提

13、供 的平均信息量； 2、在信源输出前，信息熵H(X) 表示信源的平均 不确定性； 3、信息熵H(X) 表征了变量X的随机性。 2.3 信息熵的基本性质 引入概率矢量P来表示概率分布P(x) 电气信息工程学院 P=(P(a1),P(a2),P(aq)=(p1,p2,pq),这样信息熵 就是概率矢量P的函数，即有 H(P)是概率矢量P的函数，我们称H(P)为熵函数。 常用H(X)来表示以离散随机变量X描述的信源的信 息熵；用H(P)表示概率矢量为P=(p1,p2,pq)的q 个符号信源的信息熵。 信息熵的基本性质 熵函数H(P)也是一种特殊函数，它的函数形式为 电气信息工程学院 它具有如下一些性质

14、： 1.对称性：H(P)的取值与分量p1,p2,pq的顺序无 关，只与随机变量的总体结构有关。 下面3个信源 2.确定性： H(1,0)=H(1,0,0)=H（1，0，,0）=0 只要有一个符号必然出现，这个信源 是一个确知信源，其熵等于0。 信息熵的基本性质 3.非负性：H(P)0 随机变量X的概率分布满足0pi1，当取对数 的底大于1时，log(pi) 0，-pilog(pi ) 0， 即得到的熵为正值。只有当随机变量是一确知量 时熵才等于零。 电气信息工程学院 4.扩展性： 信源空间中增加某些概率很小的符号，虽然当发 出这些符号时，提供很大的信息量，但由于其概 率接近于0，在信源熵中占极

15、小的比重，使 信源熵保持不变。 信息熵的基本性质 5.可加性：若信源X和Y统计独立,X分布为(p1,p2 ,pn),Y分布为(q1,q2 ,qm),则联合信源的 熵等于分别熵之和。即：H（XY）= H(X)+H(Y) 电气信息工程学院 6.强可加性：两个互相关联的信源X和Y的联合信 源的熵等于信源X的熵加上在X已知条件下信源Y 的条件熵。即：H(XY)=H(X)+H(Y|X),H(Y|X)表示 信源 X 输出一符号的条件下，信源Y再输出一符 号所能提供的平均信息量，称为条件熵。 信息熵的基本性质 电气信息工程学院 7.递增性：若原信源 X 中有一个符号分割成了m个 元素(符号),这m个元素的概率之和等于原元素的 概率,而其他符号的概率不变,则新信源的熵增加 。熵的增加量等于由分割而产生的不确定性量。 试不计算比较下列信源熵的大小 信息熵的基本性质 电气信息工程学院 8.极值性：在离散信源情况下，信源各符号等概率 分布时，熵值达到最大。即： 对于具有q个符号的离散信源，只有在q个信源符号 等可能出现的情况下，信源熵才能达到最大值，这 也表明等概分布的信源的平均不确定性最大，这是 一个很重要得结论，称为最大离散熵定理 9.上凸性：熵函数H(P)是概率矢量P(p1,p2, ,pq)的严格型凸