1 信息论与编码信息论与编码 Information and Coding Theory 西南交通大学西南交通大学 2 第第2 2章章 信息的度量信息的度量 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 2.2 2.2 离散信源的熵离散信源的熵 2.3 2.3 离散信源序列的熵离散信源序列的熵 2.4 2.4 连续信源的互信息和微分熵连续信源的互信息和微分熵 2.5 2.5 信源的冗余度信源的冗余度 3 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 消息消息 由符号、文字、数字、语言、音符、图片、图像等能够被人们由符号、文字、数字、语言、音符、图片、图像等能够被人们 感知器官所感知的形式组成的序列感知器官所感知的形式组成的序列 信息信息 信息是包含在消息中的内容和意义，是通信系统传输的本质信息是包含在消息中的内容和意义，是通信系统传输的本质 信号信号 把消息变换成适合信道传输的物理量，这种物理量称为信号把消息变换成适合信道传输的物理量，这种物理量称为信号 如电信号、光信号、声信号、生物信号等如电信号、光信号、声信号、生物信号等。
三者关系三者关系 通信系统传输的是信号，信号携带着消息，消息中包含着信息通信系统传输的是信号，信号携带着消息，消息中包含着信息 4 信源信源 信源输出的消息用信源输出的消息用m表示全体符号称为（语言的）表示全体符号称为（语言的） 符号集或字母集符号集或字母集. 信源输出的消息信源输出的消息m是一是一 个随机变个随机变 量！量！ 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 5 按照信源发出的时间和消息的分布分类按照信源发出的时间和消息的分布分类 离散信源：信源发出消息的时间与消息的表示形离散信源：信源发出消息的时间与消息的表示形 式都是离散的式都是离散的 如：计算机输出的代码、文稿、人写的书信等如：计算机输出的代码、文稿、人写的书信等 连续信源：信源发出消息的时间与消息的表示形连续信源：信源发出消息的时间与消息的表示形 式都是连续的式都是连续的 如：语音、图像、图形等如：语音、图像、图形等 按照信源发出符号之间的关系分类按照信源发出符号之间的关系分类 无记忆信源无记忆信源 不同时刻发出的消息是独立的不同时刻发出的消息是独立的 有记忆信源有记忆信源 不同时刻发出的消息是相互依赖的不同时刻发出的消息是相互依赖的 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 6 符号集（符号集（或字母集或字母集））A＝＝{a1, a2,…,an}. 信源任何时刻输出的消息是信源任何时刻输出的消息是A上的一个离散随机变量上的一个离散随机变量X 12 12 . 1 , , . , ,, ()( ), (), , () ( )()0, ( )1. n n ii n i i aaaX XX P P Xp ap ap a p ap Xa p a 概率分布： 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 定义定义2-1 若信源每次输出一个符号，且符号个数是 有限的或可数的 一维离散信源一维离散信源 7 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 例例2.1 在英文通信中，符号集A包含英文字母、数 字、标点符号等. 英文字母的概率分布为： 字母字母 概率概率 字母字母 概率概率 字母字母 概率概率 字母字母 概率概率 空格空格 0.1859 A 0.0642 B 0.0127 C 0.0218 D 0.0317 E 0.1031 F 0.0208 G 0.0152 H 0.0467 I 0.0575 J 0.0008 K 0.0049 L 0.0321 M 0.0198 N 0.0574 O 0.0632 P 0.0152 Q 0.0008 R 0.0484 S 0.0514 T 0.0796 U 0.0228 V 0.0083 W 0.0175 X 0.0013 Y 0.0164 Z 0.0005 8 例例2.2 在中文通信中，符号集A包含中文字（常取一级汉字）、外 文字母、数字、标点符号等. 最常用的十个汉字的概率分布为： 序序 号号 政治政治 科技科技 综合综合 字母字母 概率概率 字母字母 概率概率 字母字母 概率概率 1 的的 0.0536 的的 0.0320 的的 0.0384 2 是是 0.0165 一一 0.0097 一一 0.0125 3 一一 0.0136 在在 0.0092 是是 0.0098 4 在在 0.0115 用用 0.0079 在在 0.0095 5 这这 0.0109 有有 0.0073 了了 0.0082 6 主主 0.0108 是是 0.0070 不不 0.0081 7 不不 0.0101 不不 0.0069 和和 0.0075 8 和和 0.0098 中中 0.0066 有有 0.0069 9 人人 0.0087 大大 0.0064 大大 0.0069 10 们们 0.0087 时时 0.0053 这这 0.0054 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 9 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 符号集符号集A＝＝R (实数集实数集). 信源任何时刻输出的消息是信源任何时刻输出的消息是A上的一个连续随机变量上的一个连续随机变量X . 1)( , 0)()( , )( R X X xp xpxp xp R P X PXX 概率密度函数： ， 定义定义2-2 若信源每次输出一个符号，且符号的取值 是连续的 一维连续信源一维连续信源 10 X＝{X1, X2,X3……} N (为有限正整数或可数的无限值为有限正整数或可数的无限值)维离散信源维离散信源: X＝{X1, X2,…,XN}, Xi (i=1,2,…,N) 为离散随机变量 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 定义定义2-3 若信源每次输出多个 符号，且符号个数是 有限的或可数的 多维离散信源多维离散信源 离散平稳信源：离散平稳信源：信源的概率分布与时间无关 11 11 ()() ()() ()() ST SSTT SSS NTTTN P XP X P X XP X X P X XXP X XX 11 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 在N维随机矢量X中，若每个分量Xi (i=1, 2, …, N)都是A上 的离散随机变量，且具有相同的概率分布X0: p(ai)，则可 用N重离散概率空间来描述信源X。
即X=X0N 离散无记忆信源：离散无记忆信源：分量Xi (i=1, 2, …, N)相互独立 X的概率分布为： 1 ()() () ii N ikk i P Xp XaaA 12 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 m阶马尔可夫信源阶马尔可夫信源 ：：信源每次发出的符号只与前m个符号 有关，与更前面的符号无关 X的概率分布满足： 123 12 (|) (|). iiiii m iiii m p x xxxx p x xxx 时齐马尔可夫信源：时齐马尔可夫信源：条件概率与时间起点无关的马尔可夫 信源 X的概率分布满足： 123 120 (|) (|) () iiiii m mmm p x xxxx p xxxxim 13 N (为有限正整数或可数的无限值为有限正整数或可数的无限值)维连续信源维连续信源: X＝{X1, X2,…,XN}, Xi (i=1,2,…,N) 为连续随机变量 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 定义定义2-4 若信源每次输出多个 符号，且符号的取值 是连续的 多维连续信源多维连续信源 14 第第2 2章章 信息的度量信息的度量 2.1 2.1 信源的数学模型及分类信源的数学模型及分类 2.2 2.2 离散信源的熵离散信源的熵 2.3 2.3 离散信源序列的熵离散信源序列的熵 2.4 2.4 连续信源的互信息和微分熵连续信源的互信息和微分熵 2.5 2.5 信源的冗余度信源的冗余度 15 随机事件的自信息量随机事件的自信息量 设设p=p(E), 自信息量自信息量I(E)=I(p)满足：满足： 是概率是概率p的单调递减函数的单调递减函数 当当p=1时，时，I(p)=0 当当p=0时，时，I(p)= 两个独立事件并的信息量应等于它们分别信息量两个独立事件并的信息量应等于它们分别信息量 之和之和 2.2 2.2 离散信源的熵离散信源的熵 随机事件随机事件E的自信息量的自信息量I(E) =事件事件E发生后提供信息量发生后提供信息量 =不确定性减少的量不确定性减少的量 =事件事件E发生前的不确定性发生前的不确定性 事件事件E发生后的不确定性发生后的不确定性 16 自信息量自信息量(self-information) 2.2 2.2 离散信源的熵离散信源的熵 自信息量自信息量I(E)=I(p) = E发生前所具有的不确定性 = E发生后所提供的信息量 设随机事件设随机事件E发生的概率为发生的概率为p=p(E)，则把，则把 I(p)=I(E)= log(p) 称为随机事件称为随机事件E的自信息量的自信息量 17 自信息量自信息量(self-information) 12 12 , , . , , ( ), (), ., () ( )log ( ) . n n ii i aaaX X Pp ap ap a I ap a a 设信源：把 称为符号 的自信息量 2.2 2.2 离散信源的熵离散信源的熵 自信息量I(ai) =符号 ai 具有的不确定性 =收到符号ai后获得的信息量 18 2.2 2.2 离散信源的熵离散信源的熵 自信息量的单位自信息量的单位 对数以对数以2为底为底(log)，单位为比特，单位为比特 (bit, binary unit) 对数以对数以e为底为底(ln) ，单位为奈特，单位为奈特 (nat, nature unit ) 对数以对数以10为底为底(lg) ，单位为哈特，单位为哈特(Hart, Hartley) 单位转换单位转换 1 nat=log e bit ≈1.433 bit 1 Hart≈3.322 bit 19 2.2 2.2 离散信源的熵离散信源的熵 例例2-3 设一个信源发出二进制码元0和1，如发0的概 率为p(0)=1/4，发1的概率为p(1)=3/4，则符号0和1的 自信息量分别为： I(0)= log2(1/4)=2 bit， I(1)= log2(3/4)=0.4 bit. 如发0的概率p(0)=发1的概率p(1)=1/2，则符号0 和1的 自信息量为： I(0)= I(1)= log2(1/2)=1 bit =1自信息量的单位. 20 2.2 2.2 离散信源的熵离散信源的熵 例例2-4 英文字母中，p(e)= 0.1031， p(c)= 0.0218， p(x)=0.0013，则： I(e)= log(0.1031)=3.2779 bit， I(c)= log(0.0218 )=5.5195。