《信息论基础 普通高等教育“十一五”国家级规划教材 教学课件 ppt 作者 田宝玉 杨洁 贺志强 王晓湘 chapter4》由会员分享，可在线阅读，更多相关《信息论基础 普通高等教育“十一五”国家级规划教材 教学课件 ppt 作者 田宝玉 杨洁 贺志强 王晓湘 chapter4（57页珍藏版）》请在金锄头文库上搜索。
1、第4章 连续信息与连续信源,第4章 连续信息与连续信源,本章主要内容： 1. 连续随机变量集合的熵 2. 离散时间高斯信源的熵 3. 连续最大熵定理 4. 连续随机变量集的平均互信息 5. 离散集与连续集之间的互信息,本章在研究第3章离散信源的基础上研究连续信源的信息量度量。 内容安排如下： 首先研究离散时间连续信源的差熵，主要是高斯信源的差熵；然后介绍连续信源最大熵定理；最后介绍连续集合之间的平均互信息、离散集合与连续集合的平均互信息。,本节主要内容： 1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6
2、.连续随机变量集合的信息散度,4.1 连续随机变量集合的熵,4.1.1 连续随机变量的离散化,一个连续随机变量的离散化过程大致如下： 若给定连续随机变量集合 的概率分布 或 概率密度 ；再给定一个由实数集合到有限或可数集合的划分 ，使得 ，其中 表示离散区间， 为实数集合，且 互斥；用 将 进行划分，划分后的离散集合表示为 或 ，且使得： （4.1.2） 即，把 的概率看成 取值 的概率，这样就得到离散化后随机变量的概率分布。,4.1.1 连续随机变量的离散化(续),对于二维连续随机变量 ，可采用类似方法，得到离散化后对应的二维离散随机变量的联合概率分布： （4.1.3） 其中， 分别为 的某
3、种划分，且 。,4.1.2 连续随机变量集的熵,设连续随机变量集合 在离散化后分别为 ，根据离散化后的离散事件的概率可得 （4.1.4） 取等间隔划分，即令 ，则 （4.1.5）,4.1.2 连续随机变量集的熵(续),这样，离散化后信源的熵可看成由（4.1.5）式中的两项组成，当x0 时，第一和第二项分别用 和 来表示。那么 （4.1.6） （4.1.7）,4.1.2 连续随机变量集的熵(续),可见，连续信源的熵由两部分组成：一部分为绝对熵，其值为无限大，用 表示；另一部为差熵（或微分熵），用 表示。 通常我们所说的连续信源的熵就是差熵，可写成： （4.1.8） 差熵的单位为：比特(奈特)/自
4、由度。,4.1.3 连续随机变量集的条件熵,类似地，可计算离散化后的 为： 取等间隔划分，即令 ，则 （4.1.9）,4.1.3 连续随机变量集的条件熵(续),当 时，第一和第二项分别用 和 来表示。那么 (4.1.11）,4.1.3 连续随机变量集的条件熵(续),与前面类似以，连续信源的条件熵也由两部分组成：一部分为绝对熵，其值为无限大，用 表示；另一部分为差熵，用 表示，可写成： (4.1.12） 条件差熵的单位也为：比特(奈特)/自由度。,4.1.4 连续随机变量集的联合熵,类似地，可以定义N维连续随机变量集合的联合差熵为： (4.1.13) 其中, N维连续随机变量 , 为 的联合概率
5、密度,积分为在整个概率空间的多重积分。 联合差熵的单位为：比特(奈特)/N自由度。,4.1.4 连续随机变量集的联合熵(续),对于平稳随机过程或平稳随机序列 定义熵率为： (4.1.14) 实际上，熵率表示每自由度的熵。 注： （1）一维连续信源的符号含一个自由度，N维连续信源的符号含N个自由度； （2）一个连续信源的符号可能含多个自由度，所以比特/自由度不一定等于比特/符号； （3）对于某些信源有时也用比特/符号做单位。,4.1.5 连续随机变量集合差熵的性质 连续熵与离散熵的类似性,连续熵与离散熵计算表达式类似。通过比较可见，由计算离散熵到计算连续熵，不过是将离散概率变成概率密度，将离散求
6、和变成积分。 熵的不增性。连续熵同样满足熵的不增原理，即 (4.1.15) 由于 仅当X、Y独立时等式成立。,4.1.5 连续随机变量集合差熵的性质(续) 连续熵与离散熵的类似性,可加性 设N维高斯随机矢量集合 ,很容易证明 (4.1.16) 且仅当 相互独立时，熵的不增性等式成立。,4.1.5 连续随机变量集合差熵的性质 连续熵与离散熵的差别,差熵可以作为信源平均不确定性的相对量度但不是绝对的量度。 如前所述，差熵实际上只是连续信源熵的一部分，因此不能作为信源平均不确性大小的绝对量度。但是每个信源所包含的绝对熵部分都等于 ，与信源的概率分布无关，所以差熵的大小仍然可以作为信源平均不确定性的相
7、对量度，即差熵的大的信源平均不确定性大。,4.1.5 连续随机变量集合差熵的性质(续) 连续熵与离散熵的差别,差熵不具有非负性。 根据差熵的公式，如果在整个积分区间概率密度的值若大于1，则计算出的差熵的值就小于零。 在连续信源中，在一一对应变换的条件下，差熵可能发生变化。 如果两个离散信源符号的取值有一一对应的变换关系，那么变换后信源的熵是不变 的，但此时对于连续信源，差熵可能发生变化。下面是详细的论述。,4.1.5 连续随机变量集合差熵的性质 连续信源变换的熵,定理4.1.1 设 、 为定义在 空间中的两个N维矢量， 是一个可微的一对一的从RN到自身的变换，那末 (4.1.17) 其中 为
8、的概率密度， 为逆变换 的雅可比行列式，即 (4.1.18),4.1.5 连续随机变量集合差熵的性质(续) 连续信源变换的熵,如果， 不依赖于 或者是一个线性变换，那么(4.1.17)式变为 (4.1.20) 设 、 为定义在 空间中的两个N维随机矢量集合， ,其中 是一个 的可逆线性变换， 为N维常数列矢量。这时由于 ，其中 表示矩阵A的行列式，则 (4.1.21),4.1.5 连续随机变量集合差熵的性质(续) 连续信源变换的熵,可以写成如下更明显的形式： (4.1.21a) 如果变换为平移和旋转，即 ，则 (4.1.21b) 即经过平移和旋转变换后的连续信源的差熵不变。,4.1.6 连续随
9、机变量集合的信息散度,与离散情况类似，我们可以定义连续随机变量的信息散度。设 和 为定义在同一概率空间的两个概率密度，定义 相对 于的散度为： (4.1.22) 同样，在(4.1.22) 中，概率密度的维数不限，可以是一维，也可以是多维。,4.1.6 连续随机变量集合的信息散度(续),定理4.1.2 (散度不等式) 如果两个连续随机矢量概率密度分别为 和 ，那么 (4.1.23) 当且仅当对所有 时,等式成立。,本节主要内容： 1. 一维高斯随机变量集的熵 2. 多维独立高斯随机变量集的熵 3. 多维相关高斯随机变量集的熵,4.2 离散时间高斯信源的熵,4.2.1 一维高斯随机变量集的熵,设一
10、维高斯随机变量X的分布密度为： (4.2.1) 其中，m，2分别为随机变量X的均值和方差， 先计算,4.2.1 一维高斯随机变量集的熵（续）,根据（4.2.5）式,可得一维高斯随机矢量集合的熵为： (4.2.2) 可见，高斯信源的熵仅与方差有关而与均值无关。,4.2.2 多维独立高斯随机变量集的熵,设N维独立高斯随机变量的分布密度为： (4.2.3) 其中， 分别为随机矢量 的均值和方差。 根据熵的可加性，可求得多维独立高斯随机矢量集合的熵： (4.2.4),4.2.3 多维相关高斯随机变量集的熵,定理4.2.1 设N维高斯随机矢量 的分布密度为： (4.2.5) 其中， 为 协方差矩阵，其中
11、 ， ，为 的均值矢量，那么随机矢量集的熵为： (4.2.6),例4.2.1 设X和Y是分别具有均值 ，方差 的两个独立的高斯随机变量集合,且 ， ；试求 。 解 根据题意有,根据 (4.1.21)，有 上面利用了X、Y的独立性。,例4.2.2（续） 将变换改为 ， ，试求 解 此时 到 的变换是正交变换，变换后熵不变，所以,主要内容 1、限峰值最大熵定理 2、限功率最大熵定理 3、熵功率和剩余度,4.3 连续最大熵定理,对于离散信源，当信源符号等概率分布时信源的熵取最大值。对于连续信源，差熵也可以通过改变信源的概率密度求最大值，但情况有所不同： 除一般情况下对概率密度的非负 和归一化 的约束
12、条件之外，还必须附加其他的约束条件。这些附加约束通常是对随机变量矩的约束，最重要的约束是对信源输出的峰值约束和功率约束，即在一阶矩和二阶矩的约束条件下求 的极值问题,4.3.1 限峰值最大熵定理,若信源输出信号的峰值功率受限为P ，即信源输出信号的瞬时电压限定在 ，等价于信源输出连续随机变量X的取值幅度受限于 内取值，即在约束 下，求信源熵的极值。 峰值功率受限等价于将信源输出的幅度限制在一个有限区间内。,定理4.3.1 幅度受限的随机变量，当均匀分布时有最大的熵。,该定理的详细描述如下： 当N维随机矢量 具有概率密 度 ，分布区间为（a1，b1），（a2，b2）， （aN，bN）时，其熵满足
13、 证明：设是分布区间为（a1，b1），（a2，b2），（aN，bN）的均匀分布，概率密度为：,证明续：,计算-log , （xi（ai，bi）, i=1,N ）, 根据定理4.1.2，有 所以： 即：仅当 等于时，等式成立，此时的熵就是均匀分布的信源的熵。,4.3.2 限功率最大熵定理,若信源输出信号的平均功率受限，对于均值为0的一维信源来说，就是其方差 受限。对于均值不为零的N维信源 的情况，就是在其协方差矩阵 受限的约束条件下，求信源熵的极值。 一维随机变量的功率就是它的方差，功率受限即为方差一定；对于多维随机变量，功率受限即为协方差矩阵一定。,定理4.3.2 功率受限的随机变量，当高斯分
14、布时有最大的熵。,该定理可详细描述如下：设N 维信源 的概率密度为 ，协方差矩阵为 ，且 ，其中： t 为 的均值矢量，那末 的熵满足 仅当为高斯分布时等式成立。 证明： 设 为 (4.2.5)式所规定的N维高斯概率密度，其协方差矩阵也为 ，根据定理4.1.2有,证明续,所以 上面利用了两概率分布具有相同的自协方差矩阵的条件，其 中 ，类似于(4.2.6)式的推导，可得到(4.3.1)式， 仅当 为高斯分布时等式成立。证毕。,4.3.3 熵功率和剩余度,定义差熵为的连续随机变量集合X的熵功率为 从而有 可见，连续信源的熵功率就是具有相同差熵的高斯信源的平均功率。 设X的实际功率为 。根据限功率
15、最大熵定理，具有相同功率时，高斯分布的熵最大，因此有 再根据(4.2.10)，得，即 ，任何一个信源的熵功率不大于其实际平均功率（方差）。,信源剩余,熵功率的大小可以表示连续信源剩余的大小。如果熵功率等于信号的平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以信号平均功率和熵功率之差被称为连续信源的剩余度。 只有高斯分布的信源的熵功率等于其实际平均功率，剩余度为零。,定理4.3.3 熵功率不等式,如果X和Y都是方差有限的连续随机变量，则 仅当X和Y均为高斯随机变量时等式成立。 （证明略） 上式说明，两随机变量集合的熵功率的和不大于两随机变量和的熵功率，除非两者都是高斯随机变量。,主要内容 1、连续随机变量集的平均互信息 2、连续随机变量集平均互信息的性质,4.4 连续随机变量集的平均
