信息论编码田宝玉chapter4

《信息论编码田宝玉chapter4》由会员分享，可在线阅读，更多相关《信息论编码田宝玉chapter4（57页珍藏版）》请在金锄头文库上搜索。

1、第第4 4章章 连续信息与连续连续信息与连续 信源信源第第4 4章章 连续信息与连续信源连续信息与连续信源本章主要内容：1. 连续随机变量集合的熵连续随机变量集合的熵 2. 2. 离散时间高斯信源的熵离散时间高斯信源的熵 3. 3. 连续最大熵定理连续最大熵定理 4. 4. 连续随机变量集的平均互信息连续随机变量集的平均互信息5. 5. 离散集与连续集之间的互信息离散集与连续集之间的互信息p本章在研究第3章离散信源的基础上研究连 续信源的信息量度量。p内容安排如下：首先研究离散时间连续信源的差熵，主 要是高斯信源的差熵；然后介绍连续信源 最大熵定理；最后介绍连续集合之间的平 均互信息、离散集合

2、与连续集合的平均互 信息。 本节主要内容：1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度 4.1 连续随机变量集合的熵 4.1.1 连续随机变量的离散化 一个连续随机变量的离散化过程大致如下：若给定连续随机变量集合 的概率分布 或 概率密度 ；再给定一个由实数集合到有限或可数集 合的划分 ，使得，其中 表示离散区间， 为实数集合 ，且 互斥；用 将 进行划分，划分后的离散集合 表示为 或 ，且使得：（4.1.2）即，把 的概率看成 取值 的概率，这样就得到 离散化后随机变量

3、的概率分布。4.1.1 连续随机变量的离散化(续)对于二维连续随机变量 ，可采用类似方法，得到 离散化后对应的二维离散随机变量的联合概率分布 ：（4.1.3）其中， 分别为 的某种划分，且 。4.1.2 连续随机变量集的熵设连续随机变量集合 在离散化后分别为 ，根 据离散化后的离散事件的概率可得 （4.1.4）取等间隔划分，即令 ，则 （4.1.5）4.1.2 连续随机变量集的熵(续)这样，离散化后信源的熵可看成由（4.1.5）式中的 两项组成，当x0 时，第一和第二项分别用 和 来表示。那么（4.1.6）（4.1.7）4.1.2 连续随机变量集的熵(续)可见，连续信源的熵由两部分组成：一部分

4、为绝对 熵，其值为无限大，用 表示；另一部为差熵（或 微分熵），用 表示。通常我们所说的连续信源的熵就是差熵，可写成：（4.1.8）差熵的单位为：比特(奈特)/自由度。4.1.3 连续随机变量集的条件熵类似地，可计算离散化后的 为：取等间隔划分，即令 ，则（4.1.9）4.1.3 连续随机变量集的条件熵(续)当 时，第一和第二项分别用 和 来 表示。那么(4.1.11）4.1.3 连续随机变量集的条件熵(续)与前面类似以，连续信源的条件熵也由两部分组成 ：一部分为绝对熵，其值为无限大，用 表示； 另一部分为差熵，用 表示，可写成：(4.1.12）条件差熵的单位也为：比特(奈特)/自由度。4.1

5、.4 连续随机变量集的联合熵类似地，可以定义N维连续随机变量集合的联合差熵 为：(4.1.13)其中, N维连续随机变量 , 为 的联 合概率密度,积分为在整个概率空间的多重积分。联合差熵的单位为：比特(奈特)/N自由度。4.1.4 连续随机变量集的联合熵(续)对于平稳随机过程或平稳随机序列 定义 熵率为：(4.1.14)实际上，熵率表示每自由度的熵。注：（1）一维连续信源的符号含一个自由度，N维连续信源的符 号含N个自由度；（2）一个连续信源的符号可能含多个自由度，所以比特/自 由度不一定等于比特/符号；（3）对于某些信源有时也用比特/符号做单位。4.1.5 连续随机变量集合差熵的性质 连续

6、熵与离散熵的类似性1.连续熵与离散熵计算表达式类似。通过比较可见，由计 算离散熵到计算连续熵，不过是将离散概率变成概率密度 ，将离散求和变成积分。2.熵的不增性。连续熵同样满足熵的不增原理，即 (4.1.15)由于仅当X、Y独立时等式成立。4.1.5 连续随机变量集合差熵的性质(续)连续熵与离散熵的类似性3.可加性设N维高斯随机矢量集合 ,很容易证明 (4.1.16)且仅当 相互独立时，熵的不增性等式成立。4.1.5 连续随机变量集合差熵的性质 连续熵与离散熵的差别 1.差熵可以作为信源平均不确定性的相对量度但不是绝对 的量度。如前所述，差熵实际上只是连续信源熵的一部分，因 此不能作为信源平均

7、不确性大小的绝对量度。但是每个信 源所包含的绝对熵部分都等于 ，与信源的概率分布无 关，所以差熵的大小仍然可以作为信源平均不确定性的相 对量度，即差熵的大的信源平均不确定性大。4.1.5 连续随机变量集合差熵的性质(续)连续熵与离散熵的差别 2.差熵不具有非负性。根据差熵的公式，如果在整个积分区间概率密度的值若大 于1，则计算出的差熵的值就小于零。3.在连续信源中，在一一对应变换的条件下，差熵可能发生 变化。如果两个离散信源符号的取值有一一对应的变换关系，那 么变换后信源的熵是不变的，但此时对于连续信源，差熵可能发生变化。下面是详 细的论述。4.1.5 连续随机变量集合差熵的性质 连续信源变换

8、的熵 定理4.1.1 设 、 为定义在 空间中的两个N维矢量 ，是可微的一对一的从RN到自身的变换，(4.1.17) 其中 为 的概率密度， 为逆变换 的雅可比行 列式，即 (4.1.18)4.1.5 连续随机变量集合差熵的性质(续) 连续信源变换的熵 如果， 不依赖于 或者是一个线性变换，那么 (4.1.17)式变为(4.1.20)设 、 为定义在 空间中的两个N维随机矢量集合 ， ,其中 是一个 的可逆线性变换， 为 N维常数列矢量。这时由于 ，其中 表示矩阵A的行列式，则(4.1.21)4.1.5 连续随机变量集合差熵的性质(续) 连续信源变换的熵可以写成如下更明显的形式：(4.1.21

9、a) 如果变换为平移和旋转，即 ，则(4.1.21b) 即经过平移和旋转变换后的连续信源的差熵不变。4.1.6 连续随机变量集合的信息散度与离散情况类似，我们可以定义连续随机变量的信 息散度。设 和 为定义在同一概率空间的两个概 率密度，定义 相对 于的散度为：(4.1.22)同样，在(4.1.22) 中，概率密度的维数不限，可以 是一维，也可以是多维。4.1.6 连续随机变量集合的信息散度(续)定理4.1.2 (散度不等式) 如果两个连续随机矢量概率 密度分别为 和 ，那么(4.1.23)当且仅当对所有 时,等式成立。本节主要内容：1. 一维高斯随机变量集的熵 2. 多维独立高斯随机变量集的

10、熵 3. 多维相关高斯随机变量集的熵 4.2 离散时间高斯信源的熵 4.2.1 一维高斯随机变量集的熵 设一维高斯随机变量X的分布密度为：(4.2.1) 其中，m，2分别为随机变量X的均值和方差， 先计算 4.2.1 一维高斯随机变量集的熵（续）根据（4.2.5）式,可得一维高斯随机矢量集合的熵 为：(4.2.2)可见，高斯信源的熵仅与方差有关而与均值无关。 4.2.2 多维独立高斯随机变量集的熵设N维独立高斯随机变量的分布密度为：(4.2.3)其中， 分别为随机矢量 的均值和方差。根据熵的可加性，可求得多维独立高斯随机矢量集 合的熵：(4.2.4)4.2.3 多维相关高斯随机变量集的熵 定理

11、4.2.1 设N维高斯随机矢量 的分布密度为：(4.2.5)其中， 为 协方差矩阵，其中 ，为 的均值矢量，那么随机矢量集的 熵为： (4.2.6)例4.2.1 设X和Y是分别具有均值 ，方差 的两个独立的高斯随机变量集合,且 ， ；试求 。解根据题意有根据 (4.1.21)，有上面利用了X、Y的独立性。例4.2.2（续） 将变换改为 ， ， 试求 解此时 到 的变换是正交变换，变换后熵 不变，所以主要内容主要内容1 1、限峰值最大熵定理、限峰值最大熵定理 2 2、限功率最大熵定理、限功率最大熵定理 3 3、熵功率和剩余度、熵功率和剩余度 4.3 连续最大熵定理 v对于离散信源，当信源符号等概

12、率分布时信源的熵取最大 值。对于连续信源，差熵也可以通过改变信源的概率密度 求最大值，但情况有所不同：v除一般情况下对概率密度的非负 和归一化 的约束条件之外，还必须附加其他的约束条件。这些附加 约束通常是对随机变量矩的约束，最重要的约束是对信源 输出的峰值约束和功率约束，即在一阶矩和二阶矩的约束 条件下求的极值问题的极值问题 4.3.1 限峰值最大熵定理v若信源输出信号的峰值功率受限为P ，即信源输出 信号的瞬时电压限定在 ，等价于信源输出连续 随机变量X的取值幅度受限于 内取值，即在约 束 下，求信源熵的极值。 峰值功率受限等价于将信源输出的幅度限 制在一个有限区间内。 定理4.3.1 幅

13、度受限的随机变量，当均匀分布时有最大的熵。 该定理的详细描述如下：当N维随机矢量 具有概率密 度 ，分布区间为（a1，b1），（a2，b2），（aN，bN）时，其熵满足证明：设是分布区间为（a1，b1），（a2，b2），（ aN，bN）的均匀分布，概率密度为： 证明续：计算-log , （xi（ai，bi）, i=1,N ）, 根据定理4.1.2，有 所以：即：仅当 等于时，等式成立，此时的熵就是均匀分布的信源 的熵。4.3.2 限功率最大熵定理v若信源输出信号的平均功率受限，对于均值为0的一 维信源来说，就是其方差 受限。对于均值不为零 的N维信源 的情况，就是在其协方差矩阵受限的约束条件下

14、，求信源熵的极值。 一维随机变量的功率就是它的方差，功率 受限即为方差一定；对于多维随机变量，功率受限 即为协方差矩阵一定。定理4.3.2 功率受限的随机变量，当高斯分 布时有最大的熵。 v该定理可详细描述如下：设N 维信源 的概率密度为 ，协方差矩阵为 ，且 ，其中：t为 的均值矢量，那末 的熵满足仅当为高斯分布时等式成立。 证明： 设 为 (4.2.5)式所规定的N维高斯概率密度，其协方差矩 阵也为 ，根据定理4.1.2有 证明续所以 上面利用了两概率分布具有相同的自协方差矩阵的条件，其 中 ，类似于(4.2.6)式的推导，可得到(4.3.1)式， 仅当 为高斯分布时等式成立。证毕。 4.3.3 熵功率和剩余度定义差熵为的连续随机变量集合X的熵功率为 从而有 v可见，连续信源的熵功率就是具有相同差熵的高斯信源的平 均功率。v设X的实际功率为 。根据限功率最大熵定理，具有相同功 率时，高斯分布的熵最大，因此有再根据(4.2.10)，得，即 ，任何一个信源的熵功率 不大于其实际平均功率（方差）。 信源剩余v熵功率的大小可以表示连续信源剩余的大小。如果 熵功率等于信号的平均功率，就表示信号没有剩余 。熵功率和信号的平均功率相差越大，说明信号的 剩余