第二章_信源熵PPT课件

《第二章_信源熵PPT课件》由会员分享，可在线阅读，更多相关《第二章_信源熵PPT课件（212页珍藏版）》请在金锄头文库上搜索。

1、2.1 2.1 单符号离散信源单符号离散信源第第2章：信源熵章：信源熵2.1.1 2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型信源信源信宿信宿干扰源干扰源信道信道噪声噪声（一）简单通信系统模型（一）简单通信系统模型一、信源的描述和分类一、信源的描述和分类连续信源连续信源离散信源离散信源 信源输出的是一个个符号，这信源输出的是一个个符号，这些符号的取值是有限的或可数的。些符号的取值是有限的或可数的。 输出连续消息的信源。可用随输出连续消息的信源。可用随 机过程来描述。机过程来描述。（二）信源描述（二）信源描述单符号离散信源单符号离散信源多符号离散信源多符号离散信源 只涉及一个随机

2、事件的只涉及一个随机事件的 离散信源。可用离散随机变量来描述离散信源。可用离散随机变量来描述。 涉及多个随机事件的离涉及多个随机事件的离散信源。可用随机矢量来描述。散信源。可用随机矢量来描述。（三）离散信源分类（三）离散信源分类1、单符号离散信源与多符号离散信源、单符号离散信源与多符号离散信源2、马尔可夫信源（1）马尔可夫过程）马尔可夫过程u马尔可夫性（无后效性）：过程或系统在时刻马尔可夫性（无后效性）：过程或系统在时刻t0所处的状态为已知的条件下，过程在所处的状态为已知的条件下，过程在t t0时刻时刻所处的状态的条件分布与过程所处的状态的条件分布与过程t0之前所处的状态之前所处的状态无关。无

3、关。u具有马尔可夫性的随机过程称为马尔可夫过程。具有马尔可夫性的随机过程称为马尔可夫过程。u特点：特点：a、受时间影响的条件分布：分布情况、受时间影响的条件分布：分布情况与所处时刻及之前时刻有关；与所处时刻及之前时刻有关；b、无后效性。、无后效性。2、马尔可夫信源（2）马尔可夫过程的概率分布）马尔可夫过程的概率分布a、用分布率描述马尔可夫性、用分布率描述马尔可夫性2、马尔可夫信源（2）马尔可夫过程的概率分布）马尔可夫过程的概率分布b、转移概率、转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵。由转移概率组成的矩阵称为马氏链的转移概率矩阵。C、平稳性、平稳性2、马尔可夫信源（3）马尔可夫信源

4、）马尔可夫信源 发出的消息可以看做马尔可夫随机过程的信源。发出的消息可以看做马尔可夫随机过程的信源。举例：只传输数举例：只传输数0,1的串联系统（的串联系统（0-1传输系统），传输系统），如下图所示：其中如下图所示：其中x0为第为第0级输出，级输出，xn为第为第n+1级级输入，设一个单位时间传输一级，每级的传真率输入，设一个单位时间传输一级，每级的传真率为为p，误码率为，误码率为q=1-p，试分析此系统。，试分析此系统。12nx0x1xn-1x2xn信源信源离离散散信信源源连连续续信信源源单符号单符号多符号多符号随机变量随机矢量随机过程3、信 源 分 类信源信源离离散散信信源源连连续续信信源源

5、离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源信源分类3、分类发出多个符号的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源对于离散随机变量X，取值于集合 单符号离散信源的数学模型为(2.1.2)规定集合中各个元素的概率为规定集合中各个元素的概率为记记(2.1.1)(,),(,),(),( , , , , )( 2121=niniapapapapaaaaXPXLLLL满足其中)(iap（四）单符号离散信源的数学模型也称也称P(ai)为先验概率。为先验概率。 需要注意需要注意 的是：大写字母的是：大写字母X X、Y Y、Z Z代表随机变量，指的是信源

6、整体。代表随机变量，指的是信源整体。带下标的小写字母带下标的小写字母: : 代表随机事件的某一结果或信源的某代表随机事件的某一结果或信源的某个元素。两者不可混淆。个元素。两者不可混淆。随机变量X、Y分别取值于集合 联合随机变量 取值于集合 记记2.1.2 2.1.2 自信息和信源熵自信息和信源熵 无条件概率、条件概率、联合概率满足下面一些性质和关系：1234562.1.2 2.1.2 自信息和信源熵自信息和信源熵一、信息量l信息量：信息的定量表示l信源熵：n物理熵：无序程度的度量，描述系统特征，如热力学熵。n信息熵：随机事件的不确定度，描述系统的统计特征。n信源熵：信源发出消息的不确定度。一、

7、信息量自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量2 2、性质：、性质：（1 1）非负；）非负；（2 2）（3 3）单调递减函数；）单调递减函数；（4 4）随机函数）随机函数自信息量自信息量（一）（一）1 1、定义：一个随机事件发生某一结果所带、定义：一个随机事件发生某一结果所带来的信息量称为自信息量，简称自信息。表来的信息量称为自信息量，简称自信息。表示为概率对数的负值。示为概率对数的负值。3、单位、单位单位单位 对数底对数底 用途用途比特比特(bit) 2 奈特奈特(nat) e 用于地理、地质等领域用于地理、地质等领域用于地理、地质等领域用于地理、地

8、质等领域笛特笛特(det) 10三个信息单位之间的转换关系如下：三个信息单位之间的转换关系如下： 二进制表达信息所需二进制表达信息所需二进制表达信息所需二进制表达信息所需要的位数，用于电子要的位数，用于电子要的位数，用于电子要的位数，用于电子通信等领域通信等领域通信等领域通信等领域 例：二进制码元（例：二进制码元（0,10,1），），“0 0”与与“1 1”出现的概率相等，均为出现的概率相等，均为1/21/2，则各自的信息量为：则各自的信息量为：即从通信学的角度，一个以等概率出即从通信学的角度，一个以等概率出现的二进制码元现的二进制码元(0,1)(0,1)所包含的自信所包含的自信息量为息量为1

9、bit1bit。（二）不确定度二）不确定度1 1、表征随机事件发生的不确定程度。、表征随机事件发生的不确定程度。2 2、随机事件的不确定度与自信息量的关、随机事件的不确定度与自信息量的关系：系：（1 1）两者数值相同，单位相同。）两者数值相同，单位相同。（2 2）意义不同：不确定度表征事件本身）意义不同：不确定度表征事件本身的性质，自信息量表示事件发生后观察者的性质，自信息量表示事件发生后观察者得到的消除不确定度需要的信息量得到的消除不确定度需要的信息量。1 1、联合概率、联合概率 (三三)1 1）定义：多个事件拥有共同样本空间的概率。）定义：多个事件拥有共同样本空间的概率。2 2）记作：以事

10、件）记作：以事件A A与事件与事件B B为例，联合概率为为例，联合概率为P(AB)P(AB)3 3）性质：）性质：（1 1）数量上等于）数量上等于A A、B B交集的概率。交集的概率。（2 2）当）当A A、B B相互独立时，相互独立时，P(AB)=P(A)P(B)P(AB)=P(A)P(B)联合自信息量联合自信息量 联合自信息量联合自信息量 2、1 1）定义：联合概率对数的负值。）定义：联合概率对数的负值。2 2）信源模型为：）信源模型为：代入式(2.1.4)就有事件事件的联合概率密度为：的联合概率密度为：联合自信息量为：联合自信息量为：3 3）性质）性质: :（1 1）非负性）非负性（2

11、2）当事件相互独立时，联合自）当事件相互独立时，联合自信息量为各自信息量之和。信息量为各自信息量之和。 条件自信息量条件自信息量 (四四) 1 1、定义：条件概率对数的负值、定义：条件概率对数的负值; ;2 2、事件、事件a ai i i i以事件以事件b bj j j j的发生为条件，其的发生为条件，其条件概率密度为条件概率密度为p(ap(ai i i i/b/bj j j j) )，其条件自信，其条件自信息量为：息量为：的变化而变化。自信息量、条件自信息量和联合自信息量之间有如下关系式： 联合自信息量和条件自信息也满足非负和单调递减性 ，同时，它们也都是随机变量，其值随着变量 二二、 互信

12、息量和条件互信息量互信息量和条件互信息量由前可知， 离散信源X的数学模型为：后验概率后验概率（一）（一）信宿Y的数学模型为： 后验概率：信宿接收符号消息 时信源发出符号消息为 的概率，即条件概率图2.1.3 简单通信系统模型信源信源X信宿信宿Y有扰信道有扰信道C C干扰源干扰源N N互信息量互信息量（二）（二）1、定义：后验概率与先验概率比值的对数。例例2.1.2 某地二月份天气构成的信源为 一天有人告诉你：今天不是晴天。把这句话作一天有人告诉你：今天不是晴天。把这句话作为收到的消息为收到的消息后出现的概率变成后验概率 收到 了。其中 两个不确定度之差，是不确定度被两个不确定度之差，是不确定度

13、被消消除除的部分，也就是从的部分，也就是从bj 得到的关于得到的关于ai的信的信息量息量 。 互信息量的含义互信息量的含义2、对于对于bj不知道的情况下，不知道的情况下，ai存在的不确定度存在的不确定度已知已知bj条件下条件下， ai仍然存在的不确定度仍然存在的不确定度发发送送接接收收？收到收到后后仍有不确定性，但比原来的仍有不确定性，但比原来的不确定性发生了一些变化。不确定性变化的不确定性发生了一些变化。不确定性变化的部分，即是观察者从接收端获得的关于发送部分，即是观察者从接收端获得的关于发送端的信息量。端的信息量。？发发送送接接收收发送发送后后仍有不确定性，但比原来的仍有不确定性，但比原来

14、的不确定性发生了一些变化。不确定性变化的部分，不确定性发生了一些变化。不确定性变化的部分，即是观察者从发送端获得的关于接收端的信息量。即是观察者从发送端获得的关于接收端的信息量。通信前先验不定度（联合自信息量） 发送发送接收接收观察通信系统：观察通信系统：后验不定度 通信后发送发送接收接收这样，通信后流经信道的信息量，等于通信前后不定度的差互信息的性质互信息的性质对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 1233、是，也是的已知条件。条件互信息量条件互信息量 (2.1.13)4、信信源源熵熵熵熵条条件件熵熵联联合合熵熵三三. .信源熵信源熵 已知单符号离散无记忆信源的数学

15、模型这里的符号是指代表信源整体的这里的符号是指代表信源整体的X X信源熵信源熵平均不确定度平均不确定度一一信源熵信源熵 1 1、定义：表征信源多个符号、定义：表征信源多个符号（各个离散消息）的平均不确定度。（各个离散消息）的平均不确定度。 2 2、公式：参考数学期望的性质，用各符号的、公式：参考数学期望的性质，用各符号的自信息量的加权平均表示总体的不确定性，数自信息量的加权平均表示总体的不确定性，数值上等于信源的值上等于信源的平均信息量平均信息量。（2.1.162.1.16）3 3、单位：、单位：比特比特/ /符号。符号。信源的信息熵；香农熵；无条件信源的信息熵；香农熵；无条件信源的信息熵；香

16、农熵；无条件信源的信息熵；香农熵；无条件熵；熵函数；熵；熵函数；熵；熵函数；熵；熵函数；熵。熵。熵。熵。4 4、注意：、注意：非负性非负性两种特殊情况：两种特殊情况：符号符号当信源当信源X X只有一个符号，符号只有一只有一个符号，符号只有一个状态，个状态，例例2.1.3 继续讨论第一节的例题，即某地二月份天气构成的信源为 由式(2.1.16)的定义，该信源的熵为5 5、信源熵和平均自信息量的异同。信源熵和平均自信息量的异同。两者两者数值相同数值相同含含义义不不同同。信信源源熵熵表表征征信信源源本本身身的的性性质质，表表征征信信源源的的平平均均不不确确定定度度，平平均均自自信信息息量量是是消消除

17、除信信源源不不确确定定度度所所需需要要的的信信息息量量，只只有有当当信信源源输输出出符号并被收到才有意义。符号并被收到才有意义。信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一一般为随机量般为随机量 有限值有限值 可为无穷大可为无穷大 熵熵 信息量信息量6、总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后信源输出后，离散消息所提供的平均信息量平均信息量。信源熵H(X)表示信源输出前信源输出前，信源的平均不确定度平均不确定度。信源熵

18、H(X)反映了变量变量X X的随机性的随机性。123条件熵条件熵 H(X/Y)H(X/Y) (二二)定义：联合符号集合定义：联合符号集合X,YX,Y上的条件自信息量的数学上的条件自信息量的数学期望。期望。H(X/Y)H(X/Y)表示给定接收集合表示给定接收集合Y Y观察发送符合集观察发送符合集合合X X的不确定度。的不确定度。 条条件件熵熵是是一一个个确确定定值值，表表示示信信宿宿在在收收到到Y后后信信源源X仍仍然然存存在在不不确确定定性性度度。这这是是传传输失真所造成的。输失真所造成的。 有有时时称称H(X/Y)为为信信道道疑疑义义度度，也也称称损损失失熵熵，称条件熵，称条件熵H(Y/X)为

19、为噪声熵。噪声熵。例：例：2.1.4联合熵联合熵H(XY)H(XY)（共熵共熵） （三）（三）定义：联合符号集合定义：联合符号集合XYXY上的每个元素对上的每个元素对 自信息量的数学期望。自信息量的数学期望。H(XY)H(XY)表示已接收符表示已接收符号集号集Y Y与发送符号集与发送符号集X X的不确定度。的不确定度。熵的文氏图表示2.1.1 单符号离散信源的数学模型2.1.2 自信息和信源熵2.1.3 2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理非负性非负性对称性对称性12定理定理 信源中包含n个不同离散消息时，信源熵H(X)有 当且仅当X中各个消息出现的概率全相等时，上式取等号

20、。最大离散熵定理最大离散熵定理3证明：自然对数具有性质图2.1.4 自然对数的性质 对于单符号离散信源，当信源呈等对于单符号离散信源，当信源呈等概率分布时具有最大熵。概率分布时具有最大熵。例例一般二元信源的熵如图如图2.1.5时熵与概率的关系时熵与概率的关系 虽然概率很小的事件出现后，给予虽然概率很小的事件出现后，给予接收者的信息量很大，但对熵的贡献很接收者的信息量很大，但对熵的贡献很小，可以忽略不计。小，可以忽略不计。扩展性扩展性4 确知信源的不确定度为零。确知信源的不确定度为零。 正因为具有可加性，可以证明熵正因为具有可加性，可以证明熵的形式是唯一的。的形式是唯一的。确定性确定性可加性可加

21、性65 已知已知Y Y后，从中得到了一些关于后，从中得到了一些关于X X的的信息，从而使信息，从而使X X的不确定度下降。的不确定度下降。极值性极值性7 f 的定义域中任意两个矢量X、Y，若则称 f 为严格上凸函数严格上凸函数 设P、Q为两组归一的概率矢量。即上凸性上凸性8则有（2.1.31）证明；几何意义：证明；几何意义：P P2121严格上凸函数在定义域内的极值必为极大值。严格上凸函数在定义域内的极值必为极大值。2.1.4 2.1.4 加权熵的概念和基本性质加权熵的概念和基本性质（选修）（选修）2.1.1 2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2.1.2 2.1.2

22、自信息和信源熵自信息和信源熵2.1.3 2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理2.1.6 2.1.6 各种熵之间的关系各种熵之间的关系2.1.5 2.1.5 平均互信息平均互信息 香农信息量和熵没有考虑人的主观因素，香农信息量和熵没有考虑人的主观因素，只是信息系统概率的函数，是只是信息系统概率的函数，是“客观信息客观信息”。在实际中，各种事件虽以一定的概率。在实际中，各种事件虽以一定的概率发生，但各种事件的发生对不同的人有不发生，但各种事件的发生对不同的人有不同的意义其重要性也因人而异。同的意义其重要性也因人而异。 为了把主观价值和主观意义反映出为了把主观价值和主观意义反映出

23、来，引入加权熵的概念。来，引入加权熵的概念。 若有信源若有信源构造重量空间构造重量空间重量重量，即，即权重系数权重系数。消息的消息的作为作为，确定一个非负的实数，确定一个非负的实数 对消息对消息 , iiwa加权熵加权熵定义信息的加权熵从某种程度上反映了人的主观因素加权熵从某种程度上反映了人的主观因素。例例下雪下雪加权熵的性质：加权熵的性质： 信源平均每发出一个消息，总能提信源平均每发出一个消息，总能提供一定的信息量，最差是零。供一定的信息量，最差是零。非负性非负性1连续性连续性2 信源空间中概率分量的微小波动，信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。不会引起加权熵值的很大变

24、动。信源概率及相应重量的顺序任意互换时，加权熵的值信源概率及相应重量的顺序任意互换时，加权熵的值信源概率及相应重量的顺序任意互换时，加权熵的值信源概率及相应重量的顺序任意互换时，加权熵的值不变。表明熵的总体特性。不变。表明熵的总体特性。不变。表明熵的总体特性。不变。表明熵的总体特性。对称性对称性3均匀性均匀性4 等概信源的加权熵等于离散信源的最大熵与等概信源的加权熵等于离散信源的最大熵与等概信源的加权熵等于离散信源的最大熵与等概信源的加权熵等于离散信源的最大熵与n n个权重个权重个权重个权重系数的算术平均值的乘积。系数的算术平均值的乘积。系数的算术平均值的乘积。系数的算术平均值的乘积。等重性等

25、重性5 权重系数均为权重系数均为权重系数均为权重系数均为w w的等重信源，其加权熵是信源熵的的等重信源，其加权熵是信源熵的的等重信源，其加权熵是信源熵的的等重信源，其加权熵是信源熵的w w倍。倍。倍。倍。只包含一个实验结果的事件是确定事件，没只包含一个实验结果的事件是确定事件，没有任何随机性，尽管发生的事件是有效用或有任何随机性，尽管发生的事件是有效用或有意义的，仍然不能提供任何信息量有意义的，仍然不能提供任何信息量 。确定性确定性6非容性非容性7可能的事件无意义，有意义的事件是不可可能的事件无意义，有意义的事件是不可能的，这时香农熵不为能的，这时香农熵不为0 0，但加权熵为，但加权熵为0 0

26、。扩展性扩展性8 增加增加增加增加1 1 1 1个有效用或意义很大但是不可能发生的个有效用或意义很大但是不可能发生的个有效用或意义很大但是不可能发生的个有效用或意义很大但是不可能发生的消息，其消息的加权熵值不变。消息，其消息的加权熵值不变。消息，其消息的加权熵值不变。消息，其消息的加权熵值不变。线性叠加性线性叠加性9 当一个信源发出的每一种不同消息的效用或意当一个信源发出的每一种不同消息的效用或意当一个信源发出的每一种不同消息的效用或意当一个信源发出的每一种不同消息的效用或意义同时扩大若干倍时，其加权熵也扩大同样的倍义同时扩大若干倍时，其加权熵也扩大同样的倍义同时扩大若干倍时，其加权熵也扩大同

27、样的倍义同时扩大若干倍时，其加权熵也扩大同样的倍数。数。数。数。加权熵的最大值加权熵的最大值10 香农最大熵可看成是加权熵在权重系数香农最大熵可看成是加权熵在权重系数都为都为1 1时的特例。时的特例。2.1.4 2.1.4 加权熵的概念和基本性质加权熵的概念和基本性质2.1.1 2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2.1.2 2.1.2 自信息和信源熵自信息和信源熵2.1.3 2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理2.1.52.1.5 平均互信息量平均互信息量 互信息量是定量地研究信息流通问题的重要基互信息量是定量地研究信息流通问题的重要基础，但是它只

28、是研究了某个具体消息。所以，它不础，但是它只是研究了某个具体消息。所以，它不能从整体上作为信道中信息流通的测度。在平均意能从整体上作为信道中信息流通的测度。在平均意义上度量每通过一个符号流经信道的平均信息量。义上度量每通过一个符号流经信道的平均信息量。作为一个测度，应该是确定值。作为一个测度，应该是确定值。一、平均互信息量的定义一、平均互信息量的定义 如果将信道的发端和收端分别看成是两个如果将信道的发端和收端分别看成是两个“信源信源”，则两者之间的统计依赖关系即信道输入和输出之间，则两者之间的统计依赖关系即信道输入和输出之间的依赖关系，实际上描述了信道的特性。的依赖关系，实际上描述了信道的特性

29、。平均互信息平均互信息一、平均互信息量的定义一、平均互信息量的定义平均互信息量平均互信息量Y对对X的的定义：互信息量 在联合概率空间P(XY)中的统计平均值。也称平均交互信息量或交互熵同理，X对Y的平均互信息：(2.1.44)(2.1.45)（二）意义：（二）意义：接收端接收到接收端接收到Y后能获得的关于后能获得的关于X的信息量。的信息量。二、平均互信息的物理意义二、平均互信息的物理意义平均互信息量是收到平均互信息量是收到Y Y前、后关于前、后关于X X的不的不确定度减少的量，即由确定度减少的量，即由Y Y获得的关于获得的关于X X的的平均信息量。平均信息量。1收到收到收到收到Y Y Y Y后

30、对后对后对后对X X X X仍然存在的不确定度，疑义度仍然存在的不确定度，疑义度仍然存在的不确定度，疑义度仍然存在的不确定度，疑义度! I(Y;X) I(Y;X) I(Y;X) I(Y;X)是发送是发送是发送是发送 X X X X 前、后，关于前、后，关于前、后，关于前、后，关于Y Y Y Y的平均不确定度减的平均不确定度减的平均不确定度减的平均不确定度减少的量。少的量。少的量。少的量。2如果信道中不存在任何噪声，发端和收端必存在确定如果信道中不存在任何噪声，发端和收端必存在确定如果信道中不存在任何噪声，发端和收端必存在确定如果信道中不存在任何噪声，发端和收端必存在确定的对应关系，而现在不能完

31、全确定对应的输出，因此，的对应关系，而现在不能完全确定对应的输出，因此，的对应关系，而现在不能完全确定对应的输出，因此，的对应关系，而现在不能完全确定对应的输出，因此，条件熵条件熵条件熵条件熵H(Y/X)H(Y/X)称为噪声熵。称为噪声熵。称为噪声熵。称为噪声熵。3输入输入X，输出，输出Y，即收发通信后，即收发通信后，整个系统仍然存在的不确定度。整个系统仍然存在的不确定度。通信前，整个系统通信前，整个系统的先验不确定度的先验不确定度 平均互信息量等于通信前、后，整个系平均互信息量等于通信前、后，整个系统不确定度减少的量。统不确定度减少的量。 信息就是负熵信息就是负熵从一个事件获得另一从一个事件

32、获得另一个事件的平均互信息需要消除不确定度，一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。旦消除了不确定度，就获得了信息。例例2.1.5信源X接入图示信道0.980. 80. 20. 02123等概率信源的熵最大。等概率信源的熵最大。4567三、平均互信息的性质三、平均互信息的性质对称性对称性1因为因为 对于信道两端的随机变量对于信道两端的随机变量X和和Y，由，由Y提取关于提取关于X的信息的信息量与从量与从X中提取的关于中提取的关于Y的信息量一样。只是观察者的的信息量一样。只是观察者的立足点不同。立足点不同。非负性非负性2当且仅当当且仅当X和和Y相互独立，等式才成立。

33、相互独立，等式才成立。 从从整整体体和和平平均均的的意意义义来来看看，信信道道每每传传递递一一条条消消息息，总总能能提提供供一一定定的的信信息息量量，或或者者说说接接收收端端每每收收到到一一条条消消息息，总总能能提提取取到到关关于于信信源源X X的的信信息息量量，最坏情况是最坏情况是0 0。非负性非负性2结论：结论：通过一个信道总能传递一些信息，最差的通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，条件下，输入输出完全独立，不传递任何信息，互信息等于互信息等于0 0，但绝不会失去已知信息。，但绝不会失去已知信息。极值性极值性3非负非负 从一个事件提取关于另一从一个

34、事件提取关于另一个事件的信息量，至多是个事件的信息量，至多是 另一个事件的熵。另一个事件的熵。1当随机变量当随机变量X、Y是确定的一一对应时是确定的一一对应时则则两个事件一一对应时，从一个事件可以充分获得关于两个事件一一对应时，从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表信源的另一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。信息量可全部通过信道。2当随机变量当随机变量X、Y是相互独立时是相互独立时两事件互相独立时，从一个事件不能得到关于两事件互相独立时，从一个事件不能得到关于另一个事件的任何信息。等效于信道中断。另一个事件的任何信息。等效于信道中断。结

35、论：结论：u从一个事件提取关于另外一个事件的信息量，至从一个事件提取关于另外一个事件的信息量，至多是另外一个事件的熵那么多，不会超过另一个事多是另外一个事件的熵那么多，不会超过另一个事件自身所有的信息量。件自身所有的信息量。u当当X X和和Y Y是一一对应关系时（无扰信道），是一一对应关系时（无扰信道），I(X;Y)=H(X),I(X;Y)=H(X),此时互信息达到最大值，此时互信息达到最大值，代表信源的代表信源的信息量可全部通过信道信息量可全部通过信道。u当当X X和和Y Y相互独立时（全损信道），相互独立时（全损信道），H(X/Y)=H(X)H(X/Y)=H(X)， I(X;Y)=0 I(

36、X;Y)=0达到最小值。达到最小值。凸函数性凸函数性4 若固定信道，则平均互信息量是信源概率分布的函数。若固定信道，则平均互信息量是信源概率分布的函数。 若固定信源，则平均互信息量是信道传递概率的函数。若固定信源，则平均互信息量是信道传递概率的函数。平均互信息量是信源分布和信道传递概率分布的函数。平均互信息量是信源分布和信道传递概率分布的函数。证（略）1例例2.1.6二元信源X 接入对称信道求平均互信息 I(X；Y)0011 当当q q不变即固定信道特性时，互信息量随输入概不变即固定信道特性时，互信息量随输入概率分布变化的曲线。率分布变化的曲线。2总结总结凸函数性：凸函数性：u平均互信息量平均

37、互信息量I(X;Y)I(X;Y)是信源概率分布是信源概率分布p(ap(ai i) )的上的上凸函数；凸函数；该性质是研究信道容量的理论基础。该性质是研究信道容量的理论基础。u平均互信息量平均互信息量I(X;Y)I(X;Y)是信道转移概率分布是信道转移概率分布p(bp(bj j/a/ai i) )的下凸函数。的下凸函数。该性质是研究率失真函数该性质是研究率失真函数的理论基础。的理论基础。图2.1.8数据处理模型数据处理定理数据处理定理X YZ5定义定义上两式相减得到：上两式相减得到：例题：p36 当消息（信息、信号）经过多级处理后，当消息（信息、信号）经过多级处理后，随着处理器数目的增多，输入消

38、息与输出随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。消息之间的平均互信息量趋于变小。两级串联信道输入与输出消息之间的平均互两级串联信道输入与输出消息之间的平均互信息量既不会超过第信息量既不会超过第1级信道输入与输出消级信道输入与输出消息之间的平均互信息量，也不会超过第息之间的平均互信息量，也不会超过第2级级信道输入与输出消息之间的平均互信息量。信道输入与输出消息之间的平均互信息量。信息不增原理信息不增原理：当对信号、数据或消息进行：当对信号、数据或消息进行多级处理时，每处理一次，就有可能损失一多级处理时，每处理一次，就有可能损失一部分信息，数据处理会把消息变成更有用的部

39、分信息，数据处理会把消息变成更有用的形式，但绝不会创造出新的信息。形式，但绝不会创造出新的信息。结论结论多次测量多次测量 多次测量的互信息量要比单次测量的多次测量的互信息量要比单次测量的互信息量大互信息量大 证(略)2.1.6 2.1.6 各种熵之间的关系各种熵之间的关系2.1.1 2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2.1.2 2.1.2 自信息和信源熵自信息和信源熵2.1.3 2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理2.1.4 2.1.4 加权熵的概念和基本性质加权熵的概念和基本性质2.1.5 2.1.5 平均互信息平均互信息X YX YX YX Y

40、X Y2.1 2.1 单符号离散信源单符号离散信源2.2 2.2 多符号离散平稳信源多符号离散平稳信源 单符号离散信源：单符号离散信源：单个符号表示信息；单个符号表示信息； 多符号离散信源：多符号离散信源：实际信源输出的消息是时实际信源输出的消息是时间上和空间上的一系列符号。通常一个消息间上和空间上的一系列符号。通常一个消息序列的每一位出现那个符号都是随机的，而序列的每一位出现那个符号都是随机的，而且一般前后符号之间是有统计依赖关系的，且一般前后符号之间是有统计依赖关系的，这种信源称为这种信源称为多符号离散信源多符号离散信源。多符号离散平稳信源多符号离散平稳信源随机矢量中的各随机变量的各维联合

41、概率分布均不随随机矢量中的各随机变量的各维联合概率分布均不随时间的推移而变化，信源所发符号序列的概率分布与时间的推移而变化，信源所发符号序列的概率分布与时间起点无关。时间起点无关。2.2.1 2.2.1 序列信息的熵序列信息的熵2.2.3 2.2.3 平稳信源的熵和极限熵平稳信源的熵和极限熵2.2.2 2.2.2 离散平稳信源的数学模型离散平稳信源的数学模型2.2.4 2.2.4 马尔可夫信源马尔可夫信源2.2.5 2.2.5 信源冗余度信源冗余度假定随机变量序列的长度是有限的，信源输出的消假定随机变量序列的长度是有限的，信源输出的消息序列中，符号之间无相互依赖关系，亦称为息序列中，符号之间无

42、相互依赖关系，亦称为单符单符单符单符号离散平稳无记忆信源的扩展信源号离散平稳无记忆信源的扩展信源号离散平稳无记忆信源的扩展信源号离散平稳无记忆信源的扩展信源。序列长度就是扩展次数序列长度就是扩展次数序列长度就是扩展次数序列长度就是扩展次数。单符号信源单符号信源0，1经过扩展，经过扩展，变成了：变成了：00，01，10，11例例2.2.1离散平稳无记忆信源离散平稳无记忆信源单符号离散信源为：单符号离散信源为：单符号离散信源为：单符号离散信源为：扩展以后的信源为：扩展以后的信源为：扩展以后的信源为：扩展以后的信源为： 的概率是对应的的概率是对应的的概率是对应的的概率是对应的 个单符号信源消息的概率

43、个单符号信源消息的概率个单符号信源消息的概率个单符号信源消息的概率组成的序列的概率。组成的序列的概率。组成的序列的概率。组成的序列的概率。因为信源时无记忆的，所以序列的概率为：因为信源时无记忆的，所以序列的概率为：因为信源时无记忆的，所以序列的概率为：因为信源时无记忆的，所以序列的概率为：根据信源的定义，扩展信源的熵根据信源的定义，扩展信源的熵根据信源的定义，扩展信源的熵根据信源的定义，扩展信源的熵可以证明，离散平稳无记忆信源可以证明，离散平稳无记忆信源可以证明，离散平稳无记忆信源可以证明，离散平稳无记忆信源 的的的的 次次次次扩展信源的熵就是离散信源扩展信源的熵就是离散信源扩展信源的熵就是离

44、散信源扩展信源的熵就是离散信源 熵的熵的熵的熵的 倍。根据倍。根据倍。根据倍。根据信源的定义，扩展信源的熵。信源的定义，扩展信源的熵。信源的定义，扩展信源的熵。信源的定义，扩展信源的熵。单符号信源如下单符号信源如下, ,求二次扩展信源熵求二次扩展信源熵扩展信源：扩展信源：例例2.2.1计算扩展信源的熵时，不必构造新的信源，可直接从计算扩展信源的熵时，不必构造新的信源，可直接从原信源原信源 X的熵导出，即一个离散平稳无记忆信源的熵导出，即一个离散平稳无记忆信源X的的N次扩展信源的熵等于信源次扩展信源的熵等于信源X熵的熵的N倍。倍。2.2.1 序列信息的熵序列信息的熵2.2.3 平稳信源的熵和极限

45、熵2.2.2 2.2.2 离散平稳信源的数学模型离散平稳信源的数学模型2.2.4 马尔可夫信源2.2.5 信源冗余度离散平稳信源离散平稳信源各维联合概率均与时间起点无关的各维联合概率均与时间起点无关的完全平稳信源。完全平稳信源。联合概率分布也与时间起点无关联合概率分布也与时间起点无关联合概率分布也与时间起点无关联合概率分布也与时间起点无关信源在任何时刻发出两个符号的概率完全相同。信源在任何时刻发出两个符号的概率完全相同。信源在任何时刻发出两个符号的概率完全相同。信源在任何时刻发出两个符号的概率完全相同。如果各维联合概率分布均与时间起点无关，如果各维联合概率分布均与时间起点无关，如果各维联合概率

46、分布均与时间起点无关，如果各维联合概率分布均与时间起点无关，即对两个不同的时刻有：即对两个不同的时刻有：即对两个不同的时刻有：即对两个不同的时刻有：离散平稳信源离散平稳信源各维联合概率均与时间起点无关的各维联合概率均与时间起点无关的完全平稳信源。完全平稳信源。2.2.1 序列信息的熵序列信息的熵2.2.3 2.2.3 离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵2.2.2 离散平稳信源的数学模型2.2.4 马尔可夫信源2.2.5 信源冗余度反映信源记忆特性的两方法：反映信源记忆特性的两方法： 用联合概率反映信源记忆特性用联合概率反映信源记忆特性发出符号序列的有记忆信源发出符号序列的有记忆信

47、源1用条件概率反映信源记忆特性用条件概率反映信源记忆特性2离散平稳信源一般是指有记忆信源，即发出的离散平稳信源一般是指有记忆信源，即发出的离散平稳信源一般是指有记忆信源，即发出的离散平稳信源一般是指有记忆信源，即发出的各个符号之间具有统计关联关系的一类信源。各个符号之间具有统计关联关系的一类信源。各个符号之间具有统计关联关系的一类信源。各个符号之间具有统计关联关系的一类信源。马尔可夫信源马尔可夫信源二维平稳信源二维平稳信源二维平稳信源二维平稳信源假设信源符号序列组之间相互独立假设信源符号序列组之间相互独立假设信源符号序列组之间相互独立假设信源符号序列组之间相互独立1相应的概率分布为：相应的概率

48、分布为：X X的数学模型为：的数学模型为：的数学模型为：的数学模型为：且有：且有：且有：且有： 两个有相互依赖关系的随机变量两个有相互依赖关系的随机变量两个有相互依赖关系的随机变量两个有相互依赖关系的随机变量X X1 1和和和和X X2 2所组成的随机矢所组成的随机矢所组成的随机矢所组成的随机矢量量量量X X=X=X1 1 X X2 2的联合熵，等于第一个随机变量的联合熵，等于第一个随机变量的联合熵，等于第一个随机变量的联合熵，等于第一个随机变量X X1 1的熵与第的熵与第的熵与第的熵与第一个随机变量已知的前提下，第二个随机变量的条件熵一个随机变量已知的前提下，第二个随机变量的条件熵一个随机变

49、量已知的前提下，第二个随机变量的条件熵一个随机变量已知的前提下，第二个随机变量的条件熵HH(X(X2 2/X/X1 1 ) )之和。之和。之和。之和。 当当X1和和X2取值于同一集合时，取值于同一集合时，因为：因为：因为：因为：二维离散平稳有记忆信源熵小于等于二维平稳无记忆二维离散平稳有记忆信源熵小于等于二维平稳无记忆二维离散平稳有记忆信源熵小于等于二维平稳无记忆二维离散平稳有记忆信源熵小于等于二维平稳无记忆信源的熵。信源的熵。信源的熵。信源的熵。一般地例例2.2.2原始信源：原始信源：条件概率：条件概率：X1X2原始信源的熵：原始信源的熵：原始信源的熵：原始信源的熵：由条件概率确定的条件熵由

50、条件概率确定的条件熵由条件概率确定的条件熵由条件概率确定的条件熵 条件熵比无条件熵减少了条件熵比无条件熵减少了条件熵比无条件熵减少了条件熵比无条件熵减少了0.6720.672，是由于符号之间的，是由于符号之间的，是由于符号之间的，是由于符号之间的 依赖性所造成的。信源每发一个消息所提供的联合依赖性所造成的。信源每发一个消息所提供的联合依赖性所造成的。信源每发一个消息所提供的联合依赖性所造成的。信源每发一个消息所提供的联合熵熵熵熵 为：为：为：为： 则每个信源符号所提供的平均信息量则每个信源符号所提供的平均信息量 小于信源所提供的平均信息量，这是由于符号之小于信源所提供的平均信息量，这是由于符号

51、之小于信源所提供的平均信息量，这是由于符号之小于信源所提供的平均信息量，这是由于符号之间的统计相关性所引起的。间的统计相关性所引起的。间的统计相关性所引起的。间的统计相关性所引起的。N维信源维信源2 多符号离散平稳有记忆信源多符号离散平稳有记忆信源多符号离散平稳有记忆信源多符号离散平稳有记忆信源X的熵是的熵是的熵是的熵是X起始时刻随起始时刻随起始时刻随起始时刻随机变量机变量机变量机变量X X1 1的熵与各阶条件熵之和。由于信源是平的熵与各阶条件熵之和。由于信源是平的熵与各阶条件熵之和。由于信源是平的熵与各阶条件熵之和。由于信源是平稳的，这个和值与起始时刻无关。稳的，这个和值与起始时刻无关。稳的

52、，这个和值与起始时刻无关。稳的，这个和值与起始时刻无关。由平稳性：由平稳性：平均符号熵平均符号熵平均符号熵平均符号熵 ( (即每发一个符号所提供的信息量即每发一个符号所提供的信息量即每发一个符号所提供的信息量即每发一个符号所提供的信息量) )：极限熵：极限熵：平均发出一个消息所提供的信息量：平均发出一个消息所提供的信息量：平均发出一个消息所提供的信息量：平均发出一个消息所提供的信息量： 当当当当 时，平均符号熵取极限值，称为时，平均符号熵取极限值，称为时，平均符号熵取极限值，称为时，平均符号熵取极限值，称为极限熵极限熵极限熵极限熵或极或极或极或极限信息量限信息量限信息量限信息量极限熵的存在性极

53、限熵的存在性：当离散有记忆信源是：当离散有记忆信源是平稳信源平稳信源时，从数学上时，从数学上可以证明，极限熵是存在的，且等于关联长度可以证明，极限熵是存在的，且等于关联长度 时，条时，条件熵件熵 的极限值，即的极限值，即极限熵的计算极限熵的计算：必须测定信源的无穷阶联合概率和条件概率分：必须测定信源的无穷阶联合概率和条件概率分布，这是相当困难的，有时为了简化分析，往往用条件熵或平布，这是相当困难的，有时为了简化分析，往往用条件熵或平均符号熵作为极限熵的近似值。在有些情况下，即使均符号熵作为极限熵的近似值。在有些情况下，即使N N值并不值并不大，这些熵值也很接近大，这些熵值也很接近 ，例如马尔可

54、夫信源。，例如马尔可夫信源。2.2.1 2.2.1 序列信息的熵序列信息的熵2.2.3 2.2.3 平稳信源的熵和极限熵平稳信源的熵和极限熵2.2.2 2.2.2 离散平稳信源的数学模型离散平稳信源的数学模型2.2.4 2.2.4 马尔可夫信源的极限熵马尔可夫信源的极限熵2.2.5 2.2.5 信源冗余度信源冗余度 输出的符号序列中符号之间的依赖关系是有限输出的符号序列中符号之间的依赖关系是有限的。即任意时刻信源符号发生的概率只与前面已的。即任意时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符经发出的若干个符号有关，而与更前面发出的符号无关。号无关。 信源输出的信息符

55、号还与信源所处的信源输出的信息符号还与信源所处的状态状态有关。有关。1、信源的状态和符号集、信源的状态和符号集与当前输出符号有关的前与当前输出符号有关的前m个随机变量序个随机变量序列列(X1X2Xm)的某一具体消息。的某一具体消息。状态状态p设符号集为 和信源所处的状态为S。p信源所处的状态 ，信源每一状态下可能输出的符号p每一时刻信源发出一个符号后，所处的状态发生转移。p信源输出的随机符号序列为： 信源所处的状态序列为 p设在第L 时刻信源所处状态为 ，输出符号 的概率给定，为：p设信源在L的前一时刻(L-1)时刻处于 状态，而在时刻L转移到 状态，转移概率为：p上式的条件概率称为马尔可夫链

56、在时刻上式的条件概率称为马尔可夫链在时刻L L的状态的状态一步转移概率一步转移概率。p时齐马尔可夫链：状态转移概率与时间L无关，称为时齐的。若信源输出的符号和所处的状态满足下列两个条件，若信源输出的符号和所处的状态满足下列两个条件，则成为马尔可夫信源：则成为马尔可夫信源：某时刻输出符号概率仅与此刻信源所处的状态有关；而与以前的状态和以前的输出符号均无关，即：不论何时，在状态 下发生符号 的概率不变信源的下一个状态由当前状态和下一刻的输出唯信源的下一个状态由当前状态和下一刻的输出唯一确定。一确定。即输出符号 后，由状态 变成状态2、马尔可夫信源定义、马尔可夫信源定义12状态的一步转移概率状态的一

57、步转移概率l若信源处于某一状态若信源处于某一状态 ，当它发出一个符号后，当它发出一个符号后，它所处的状态就变了它所处的状态就变了，转移到另一状态，转移到另一状态；l状态的转移依赖于发出的信源符号，状态的转移依赖于发出的信源符号，任何时刻信任何时刻信源处在什么状态，完全由前一时刻的状态和发出的源处在什么状态，完全由前一时刻的状态和发出的符号决定；符号决定；l因为条件概率因为条件概率 已给定，所以状态转移概已给定，所以状态转移概率满足一定概率分布，并可求出率满足一定概率分布，并可求出 3、结论、结论马尔可夫信源有记忆的马尔可夫信源有记忆的特点特点：有限记忆长度；有限记忆长度； 发出一个个符号，每发

58、一个符号状态要发出一个个符号，每发一个符号状态要发生转移。发生转移。信源输出不仅与符号集有关，而且与状信源输出不仅与符号集有关，而且与状态有关；态有关；123l条件概率条件概率 l状态转移概率状态转移概率l状态转移图（马尔可夫状态图状态转移图（马尔可夫状态图/香农线图）香农线图）4、描述方法、描述方法例例 2.2.32.2.3信源在信源在si状态下发符号的概率为状态下发符号的概率为s1s2s3s4s5状态转移概率为状态转移概率为s1s2s3s4s5 信源输出当前符号仅与前信源输出当前符号仅与前面面m个符号有关的马尔可夫信源。将这个符号有关的马尔可夫信源。将这m个符号看做个符号看做是信源在当前时

59、刻的状态。是信源在当前时刻的状态。5、m阶马尔可夫信源阶马尔可夫信源 一般有记忆信源发出的是有关联性的各符号一般有记忆信源发出的是有关联性的各符号构成的整体消息，即发出的是一组符号或者是符构成的整体消息，即发出的是一组符号或者是符号序列，并用符号间的联合概率描绘。号序列，并用符号间的联合概率描绘。 马尔可夫信源用符号之间的马尔可夫信源用符号之间的转移概率（条件概转移概率（条件概率）率）来描述这种关联关系。马尔可夫信源以转移来描述这种关联关系。马尔可夫信源以转移概率发出每个信源符号，转移概率的大小取决于概率发出每个信源符号，转移概率的大小取决于他与前面符号间的关联性。他与前面符号间的关联性。 一

60、个状态就是一个一个状态就是一个m长序列，信源输出依赖长序列，信源输出依赖长度为长度为m+1的随机序列，因此可用转移概率计算的随机序列，因此可用转移概率计算马尔可夫信源的熵。马尔可夫信源的熵。P(si)是是m阶马尔可夫信源阶马尔可夫信源稳定后的状态极限概率稳定后的状态极限概率6、m阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵马尔可夫信源稳定后各状态的极限概率马尔可夫信源稳定后各状态的极限概率m阶马尔可夫信源的极限熵等于阶马尔可夫信源的极限熵等于m阶条件熵。阶条件熵。一步转移概率是给定的一步转移概率是给定的可唯一解。可唯一解。二阶马尔可夫信源二阶马尔可夫信源00 01 10 11香农线图：香农线图

61、：例例2.2.4极限熵为：极限熵为： 平稳信源（如果不平稳则先把其变成分段平稳的）。121 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；m阶马尔可夫信源与一般记忆长度为m的有记忆信源的区别：122 马尔可夫信源记忆长度虽然有限，但依赖马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为关系延伸到无穷远。长为mm的有限记忆信的有限记忆信源符号间的依赖关系仅限于每组内，组与源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系；组之间没有依赖关系；3442.2.1

62、2.2.1 序列信息的熵序列信息的熵2.2.3 2.2.3 平稳信源的熵和极限熵平稳信源的熵和极限熵2.2.2 2.2.2 离散平稳信源的数学模型离散平稳信源的数学模型2.2.4 2.2.4 马尔可夫信源马尔可夫信源2.2.5 2.2.5 冗余度、自然语言及信息变差冗余度、自然语言及信息变差 实实际际信信源源可可能能是是非非平平稳稳的的，极极限限熵熵不不一一定定存存在在。假假定定它它是是平平稳稳的的，并并测测得得N足足够够大大时时的的条条件件概概率率PN (XN/X1X2XN-1)，然然后后计计算算HN(X)来来近近似似极极限限熵。计算熵。计算HN(X)十分困难。十分困难。 进进一一步步假假设

63、设信信源源是是m阶阶马马尔尔可可夫夫信信源源，信信源源熵熵用用Hm+1来来近近似似，则则近近似似的的程程度度取取决决于于m。 m越越大大越接近实际信源。越接近实际信源。 记记忆忆长长度度m不不同同，熵熵值值就就不不同同，意意味味着着平平均均发发一个符号就有不同的信息量，一个符号就有不同的信息量， 记忆长度越长，熵越小记忆长度越长，熵越小 空格：空格：0.2 E：0.105 T：0.072 O：0.0654 A：0.063 N：0.059 I：0.055 R：0.054 S：0.052 H：0.047 D：0.035 L：0.029 C：0.023 F、U：0.025 M：0.021 P：0.1

64、75 Y、W：0.012 G：0.011 B：0.0105 V：0.008 K：0.003 X：0.002 J、Q：0.001 Z：0.001英文各个字符的统计概率如下：例例2.2.5英文字母出现概率统计英文字母出现概率统计信源的最大熵为信源的最大熵为对于英语信源：对于英语信源：不考虑符号间依赖关系：不考虑符号间依赖关系： 按表的概率分布，随机选择英语字母得到按表的概率分布，随机选择英语字母得到一个信源输出序列为一个信源输出序列为: AI-NGAE-ITE-NNR-ASAVE-OTE-BAINTHA-HYROO-FOER 为了进一步逼近实际，把英语信源近似看做为了进一步逼近实际，把英语信源近似

65、看做1阶，阶，2阶阶马尔可夫信源。马尔可夫信源。容易推知，依赖关系越多，及马尔可夫信源的阶容易推知，依赖关系越多，及马尔可夫信源的阶数越高，输出的序列越接近实际情况。数越高，输出的序列越接近实际情况。信息熵的相对率：信息熵的相对率：信源的冗余度：信源的冗余度：信息变差：信息变差：冗余度与传输效率冗余度与传输可靠性冗余度与英语学习?2.1 2.1 单符号离散信源单符号离散信源2.3 2.3 连续信源连续信源2.2 2.2 多符号离散信源多符号离散信源一、连续信源一、连续信源1. 连续信源的概念连续信源的概念t 时刻的时刻的输出值输出值 x满足概率满足概率密度函数密度函数 连续信源输出的是连续连续

66、信源输出的是连续( (型型) )随机变量随机变量。指输出的消息在。指输出的消息在时间和取值上都连续的信源。时间和取值上都连续的信源。 具体地说，连续信源在具体地说，连续信源在“任何任何”时刻都按照某种概率时刻都按照某种概率在一定的取值范围内输出在一定的取值范围内输出“任何任何”值。值。一、连续信源一、连续信源2. 连续信源的特点连续信源的特点 从数学的角度来看，连续信源的输出结果是以时间从数学的角度来看，连续信源的输出结果是以时间 t 为为 从消息的角度来看，连续信源在任一时刻都发送消息，从消息的角度来看，连续信源在任一时刻都发送消息，从自变量的函数从自变量的函数该函数该函数时间连续、取值连续

67、时间连续、取值连续。 此外，连续信源在某一时刻的取值也可以分为与前面的此外，连续信源在某一时刻的取值也可以分为与前面的且消息的且消息的状态数为无穷大状态数为无穷大。取值取值无关无关或者或者相关相关两种情况。两种情况。3、连续信源的分类、连续信源的分类连续连续信源信源平稳信源平稳信源非平稳信源非平稳信源2.3.1 2.3.1 连续信源的熵连续信源的熵2.3.3 2.3.3 连续信源熵的性质及连续信源熵的性质及 最大连续熵定理最大连续熵定理2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵2.3.4 2.3.4 熵功率熵功率相应地，连续随机变量的信息度量可用离散随机变量相应地，连续随

68、机变量的信息度量可用离散随机变量1. 连续信源的离散化连续信源的离散化( (逼近逼近) )2.3.1 连续信源的熵连续信源的熵为了参照前面已有的关于离散随机变量的讨论，对于为了参照前面已有的关于离散随机变量的讨论，对于连续随机变量，将用离散随机变量来逼近。连续随机变量，将用离散随机变量来逼近。认为是离散变量的极限情况。认为是离散变量的极限情况。的信息度量来逼近。的信息度量来逼近。即连续变量可即连续变量可2、单变量连续信源的数学模型为：、单变量连续信源的数学模型为：并满足如图，如图，2.3.12.3.1记记则则 X 的取值处于第的取值处于第 i 个区间个区间 的概率的概率 为：为：3. 连续信源

69、的离散化连续信源的离散化推导推导2.3.1 连续信源的熵连续信源的熵将连续信源将连续信源 X 的取值区间的取值区间 n 等份，等份，其中，其中，( (积分中值定理积分中值定理) )且满足且满足2. 连续信源的离散化连续信源的离散化推导推导2.3.1连续信源的熵连续信源的熵 由此，连续信源由此，连续信源X就可用取值为就可用取值为 (i=1,2,n)的离散变的离散变量来近似，连续信源量来近似，连续信源X被量化为离散信源：被量化为离散信源： 离散信源离散信源 的熵为：的熵为：3.连续信源的熵连续信源的熵分析分析2.3.1连续信源的熵连续信源的熵当当 即即 时，时，随机变量随机变量 X ；离散随机变量

70、离散随机变量 将趋于连续将趋于连续可以作为连续信源的信息熵。可以作为连续信源的信息熵。因此，离散信源因此，离散信源 的熵的熵 的极限值的极限值3. 连续信源的熵连续信源的熵2.3.1连续信源的熵连续信源的熵分析分析(1) 连续信源的连续信源的绝对熵绝对熵定义为定义为上式的第一项一般为定值，第二项将趋于无限大。上式的第一项一般为定值，第二项将趋于无限大。定义定义(2) 连续信源的连续信源的相对熵相对熵定义为定义为记为即连续信源的相对熵简称为即连续信源的相对熵简称为连续信源的熵连续信源的熵。由于连续信源的状态数为无穷大，若假定等概率，由于连续信源的状态数为无穷大，若假定等概率，不确定度将为无穷大。

71、不确定度将为无穷大。(1) 连续信源的绝对熵为无穷大连续信源的绝对熵为无穷大4、关于连续信源熵的几点说明、关于连续信源熵的几点说明2.3.1连续信源的熵连续信源的熵无穷大。无穷大。在实际问题中，常常计算的是熵的在实际问题中，常常计算的是熵的差值差值，如平均互信，如平均互信此时，绝对熵中的无限大项将互相抵消掉。此时，绝对熵中的无限大项将互相抵消掉。(2) 用连续信源的相对熵来定义连续信源的熵用连续信源的相对熵来定义连续信源的熵 可以和离散信源的熵在可以和离散信源的熵在形式形式上统一，且便于计算；上统一，且便于计算；息等。息等。因此，连续信源的绝对熵为因此，连续信源的绝对熵为求均匀分布的连续信源熵

72、例例2.3.1连续信源熵 相对熵相对熵离散信源熵 绝对熵绝对熵5、其他连续熵的定义：、其他连续熵的定义：2.3.1 连续信源的熵连续信源的熵2.3.3 2.3.3 连续信源熵的性质及连续信源熵的性质及 最大连续熵定理最大连续熵定理2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵2.3.4 熵功率熵功率均匀分布的连续信源的熵均匀分布的连续信源的熵1一维随机变量一维随机变量X在在【a，b】区间均匀分布时，熵为区间均匀分布时，熵为若若N维矢量维矢量X=(X1X1XN)中各分量彼此独立，中各分量彼此独立，且分别在且分别在 区域内均匀区域内均匀分布，即有分布，即有矢量熵等于各单个随机矢量熵等于各单个

73、随机矢量熵等于各单个随机矢量熵等于各单个随机变量的熵之和变量的熵之和变量的熵之和变量的熵之和高斯分布的连续信源的熵高斯分布的连续信源的熵21/2结论结论高斯信源的熵仅与方差有关。高斯信源的熵仅与方差有关。原因原因指数分布的连续信源的熵指数分布的连续信源的熵3指数分布指数分布只取决于均值只取决于均值均匀分布的连续信源的熵：均匀分布的连续信源的熵：高斯分布的连续信源的熵：高斯分布的连续信源的熵：指数分布的连续信源熵：指数分布的连续信源熵：2.3.2几种特殊连续熵几种特殊连续熵仅与区域的边界有关仅与区域的边界有关与数学期望无关，仅与方差有关与数学期望无关，仅与方差有关只取决于均值只取决于均值2.3.

74、1 2.3.1 连续信源的熵连续信源的熵2.3.3 2.3.3 连续信源熵的性质及连续信源熵的性质及 最大连续熵定理最大连续熵定理2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵2.3.4 2.3.4 熵功率熵功率连续信源熵可为负值连续信源熵的可加性推广到N个变量的情况123平均互信息的非负性 连续信源的无条件熵和条件熵之差为连续信源熵的平均连续信源的无条件熵和条件熵之差为连续信源熵的平均互信息互信息对称性：对称性：数据处理定理：数据处理定理：u连续信源与离散信源不同连续信源与离散信源不同1)它不存在绝对最大熵它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。其最大熵与信源

75、的限制条件有关。最大连续熵定理4 4u通常考虑三种情况：通常考虑三种情况：1)信源的峰值功率受限信源的峰值功率受限;2)信源的平均功率受限；信源的平均功率受限；3)均值受限。均值受限。峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续若连续随机矢量随机矢量X的的峰值被限制在一定的范围之内，则峰值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。在有限的定义域内，均匀分布的连续信源具有最大熵。若信源输出的幅值限定在区域若信源输出的幅值限定在区域 内内 当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理 若连

76、续随机变量若连续随机变量X的平均功率和均值的平均功率和均值m被限定，则当输被限定，则当输出信号的概率密度为高斯分布时，信源具有最大熵值。出信号的概率密度为高斯分布时，信源具有最大熵值。即即4、最大连续熵定理、最大连续熵定理均值受限条件下的最大熵定理均值受限条件下的最大熵定理 若连续信源输出非负信号的均值受限条件下，指数分布若连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。的连续信源具有最大熵。4、最大连续熵定理、最大连续熵定理 连续信源不存在绝对的最大熵。连连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不续最大熵与信源的限制条件有关。在不同的限制条件下，有不

77、同的最大连续熵同的限制条件下，有不同的最大连续熵。2.3.1 2.3.1 连续信源的熵连续信源的熵2.3.3 2.3.3 连续信源熵的性质及连续信源熵的性质及 最大连续熵定理最大连续熵定理2.3.2 2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵2.3.4 2.3.4 熵功率熵功率信息变差：信源的剩余信息变差：信源的剩余信息变差：信源的剩余信息变差：信源的剩余2.3.4熵功率熵功率1、目的、目的讨论连续信源的冗余讨论连续信源的冗余(度度)。常见信源是均值为0，平均功率受限信源信源限定平均功率减小时，最大熵随之减小。信源限定平均功率减小时，最大熵随之减小。信源限定平均功率减小时，最大熵随之

78、减小。信源限定平均功率减小时，最大熵随之减小。随随随随P P而变而变而变而变 当概率密度函数是其他任何分布当概率密度函数是其他任何分布 时，其时，其熵必小于最大熵熵必小于最大熵 。总能找到总能找到总能找到总能找到 ，有，有，有，有 不同于高斯分布，不同于高斯分布，功率为功率为P 高斯分布，高斯分布，高斯分布，高斯分布，功率为功率为功率为功率为-P-P 高斯分布，功率为高斯分布，功率为高斯分布，功率为高斯分布，功率为P P 非高斯分布，功率为非高斯分布，功率为非高斯分布，功率为非高斯分布，功率为P P等于某高斯分布，功率为等于某高斯分布，功率为等于某高斯分布，功率为等于某高斯分布，功率为p p

79、推广到N维，假定各随机变量统计独立（无记忆） 信源的冗余度决定于平均功率的限定值信源的冗余度决定于平均功率的限定值P和信和信源的熵功率源的熵功率P之比。之比。2.3.4 熵功率熵功率2. 总结：熵功率的定义总结：熵功率的定义3. 连续信源的连续信源的剩余剩余( (度度) )信息变差信息变差当平均功率受限时，高斯分布信源的熵最大，若令其平当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为均功率为P，则其熵为，则其熵为 ，若，若非高斯分布的信非高斯分布的信源源 X 的平均功率仍为的平均功率仍为P，则它的熵，则它的熵 一定小于一定小于 ,而高斯分布信源达到该熵值所需的平均功率而高斯分布信源达到该熵值所需的平均功率为为 ， 则称熵为则称熵为 时的高斯信源的平均功率为时的高斯信源的平均功率为熵功率熵功率 定义定义总结总结n信源的描述及分类信源的描述及分类信源的描述及分类信源的描述及分类n单符号离散信源熵及互信息单符号离散信源熵及互信息单符号离散信源熵及互信息单符号离散信源熵及互信息n离散序列信源熵离散序列信源熵离散序列信源熵离散序列信源熵n连续信源的熵连续信源的熵连续信源的熵连续信源的熵同学们来学校和回家的路上要注意安全同学们来学校和回家的路上要注意安全