第三章 信源及信源熵

《第三章 信源及信源熵》由会员分享，可在线阅读，更多相关《第三章 信源及信源熵（78页珍藏版）》请在金锄头文库上搜索。

1、第三章：信源及信源熵第三章：信源及信源熵 一、信源的分类及其数学模型二、离散单符号信源三、离散多符号信源四、连续信源信源的分类及其数学模型信源的分类及其数学模型第三章：信源及信源熵第三章：信源及信源熵l 信源是产生消息（符号）、消息序列（符号序列）以及时间连续的消息的来源。l 信源的主要问题：如何描述信源的输出（信源的建模问题）怎样确定信源产生的信息量、产生信息的速率 信源编码 （第五章）多符号信源连续信源信源分类单符号信源时间 （空间）取值信源种类举例消息的数学描述离散离散离散信源 （数字信源）文字、数据 、 离散化图象离散随机变量序列离散连续连续信源 连续随机变量序列连续连续波形信源 （模

2、拟信源）语音、音乐 、热噪声、 图形、图象随机过程连续离散 不常见 根据信源输出消息在时间和取值上是离散或连续分类： l 本章重点研究离散平稳无记忆信源，以及较简单的有记忆信源马尔可夫信源。l 根据信源发出的单个消息取值是离散值还是连续值，信源可分为离散信源/连续信源。l 根据信源发出的消息之间是否有统计依赖关系，信源可分为有记忆信源/无记忆信源。信源的分类及其数学模型信源的分类及其数学模型多符号信源连续信源信源分类单符号信源第三章：信源及信源熵第三章：信源及信源熵l 根据信源发出的消息序列中的消息，统计特性是否保持不变，信源可分为平稳信源/非平稳信源。 信源的分类及其数学模型信源的分类及其数

3、学模型多符号信源连续信源信源分类单符号信源第三章：信源及信源熵第三章：信源及信源熵离散单符号信源l 离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元 ，可以用一个离散随机变量来表示。l 离散单符号信源X的概率空间：多符号信源连续信源单符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵离散单符号信源（续）l 信源输出的所有消息的自信息的 统计平均值，定义为信源的平均自信息（信息熵）：l 信息熵表示离散单符号信源的平均不确定性。多符号信源连续信源单符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵一：信源的分类及其数学模型二：

4、离散单符号信源三：离散多符号信源1. 预备知识2. 离散平稳无记忆信源3. 离散平稳有记忆信源4. 马尔可夫信源5. 信源的相关性和剩余度四：连续信源第三章：信源及信源熵第三章：信源及信源熵 1. 1. 预备知识预备知识l实际信源输出往往是符号序列，称为离散多符号信源。l离散多符号信源可以用随机矢量/随机变量序列来描述，即l一般来说，信源的统计特性随着时间的推移而有所变化。为了便于研究，我们常常假定在一个较短的时间段内 ，信源是平稳信源。 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵1. 1. 预备知识（续预备知识（续1 1）定义1：对于离散随机变量序列 ，若任

5、意两个不同 时刻i和j (大于1的任意整数) 信源发出消息的概率分布完全相同，即对于任意的 ， 和 具有 相同的概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为离散平稳信 源。 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵1. 1. 预备知识（续预备知识（续2 2）对离散平稳信源，由联合概率与条件概率的关系可以推出： 因此： 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵1. 1. 预备知识（续预备知识（续3 3）定义2：随机变量序列中，对前N个随机变量的联合熵求平均称为平均符号熵： 如果当 时上式极限存在，则 被称为熵

6、率 ，或极限熵，记为 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源离散平稳无记忆信源l为了研究离散平稳无记忆信源的极限熵，把信源输出 的符号序列看成是一组一组发出的。 例1：电报系统中，可以认为每2个二进制数字组成一组 。这样信源输出的是由2个二进制数字组成的一组组符 号。这时可以将它们等效看成一个新的信源，它由四个 符号00，01，10，11组成，把该信源称为二进制无记忆 信源的二次扩展。 例2：如果把每三个二进制数字组成一组，这样长度为3 的二进制序列就有8种不同的符号，可等效成一个具有8 个符号的信源，把它称为二进制无记忆信源

7、的三次扩展 信源。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源（续离散平稳无记忆信源（续1 1）l假定信源输出的是N长符号序列，把它看成是一个新 信源，称为离散平稳无记忆信源的N次扩展信源，用N 维离散随机矢量来表示：lN次扩展信源的概率空间为：G 是一个长为N的序列，单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源（续离散平稳无记忆信源（续2 2）lN次扩展信源的熵：l离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍：单符号信源连续信源多符号信源信源分类第三章

8、：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源（续离散平稳无记忆信源（续3 3）l离散平稳无记忆信源的熵率：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源（续离散平稳无记忆信源（续4 4）例1：设有一离散无记忆信源X，其概率空间为求该信源的熵率及二次扩展信源的熵。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2. 2. 离散平稳无记忆信源（续离散平稳无记忆信源（续5 5）解：离散单符号信源熵比特/符号熵率：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵2.

9、2. 离散平稳无记忆信源（续离散平稳无记忆信源（续6 6）二次扩展信源的概率空间：二次扩展信源的熵：比特/二个符号单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵3. 3. 离散平稳有记忆信源离散平稳有记忆信源l实际信源常常是有记忆信源。设信源输出N长的符号序列，则可以用N维随机矢量 来表示信源，其中每个随机变量之间存在统计依赖关系。lN维随机矢量的联合熵为：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵3. 3. 离散平稳有记忆信源（续离散平稳有记忆信源（续1 1）定理：对于离散平稳信源，如果 ，则有单符号信源连续信源多符号信源信源分

10、类第三章：信源及信源熵第三章：信源及信源熵3. 3. 离散平稳有记忆信源（续离散平稳有记忆信源（续2 2）证明： （1）首先证明极限条件熵存在： 只要X的样本空间有限，则必然有 。 根据条件熵的性质，以及信源的平稳性有是单调有界数列，极限 必然存在，且极限为0和 之间的某一个值。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵3. 3. 离散平稳有记忆信源（续离散平稳有记忆信源（续3 3）（2）对于收敛的实数列，有以下结论成立：如果 是一个收敛的实数列，那么利用上述结论可以推出：单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵3. 3.

11、离散平稳有记忆信源（续离散平稳有记忆信源（续4 4）例2：信源X的信源模型为 输出符号序列中，只有前后两个符号之间有记忆，条件概率空间见右边的表。求熵率并比较 H(X) 、H(X2|X1) 、 1/2H(X1X2)。条件概率 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵3. 3. 离散平稳有记忆信源（续离散平稳有记忆信源（续5 5）解： 1) 比特/符号 2) 如果不考虑符号间的相关性，则信源熵为比特/符号 3) 如果把信源发出的符号看成是分组发出的，每两个符号为一 组，这个新信源的熵为比特/两个符号 单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三

12、章：信源及信源熵3. 3. 离散平稳有记忆信源（续离散平稳有记忆信源（续6 6）结论： 如何从理论上解释这个结果？单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源马尔可夫信源(1) 定义(2) 熵率(3) 马尔可夫信源 马尔可夫链(4) 马尔可夫链单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续1 1）l 实际的有记忆信源，符号间的相关性可以追溯到很远，使得熵率的计算比较复杂。l马尔可夫信源是一类相对简单的有记忆信源。信源在某一时 刻发出某一符号的概率，除与该符号有关外，

13、只与此前发出 的有限个符号有关。(1) 定义单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续2 2）l对于m阶马尔可夫信源，(2) 熵率l如何计算条件熵？条件概率 通常是已知的，我们需要求解的是联 合概率 。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续3 3）(3) 马尔可夫信源 马尔可夫链单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续4 4）例3：设一个二元一阶马尔可夫信源

14、，信源符号集为 ， 输出符号的条件概率为用状态转移图来描述该信源。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续5 5）单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续6 6）例4：设一个二元二阶马尔可夫信源，信源符号集为 ，输出符号的条件概率为求该信源的状态转移图。单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续7 7）单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第

15、三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续8 8）l对于 m 阶马尔可夫信源，单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续9 9）(4) 马尔可夫链l 有限状态马尔可夫链l 状态转移概率l 齐次马尔可夫链l Chapman-Kolmogorov方程l马尔可夫链的平稳分布单符号信源连续信源多符号信源信源分类第三章：信源及信源熵第三章：信源及信源熵4. 4. 马尔可夫信源（续马尔可夫信源（续1010）l 马尔可夫链：设 为一随机序列，如果对所有 ，有则称 为马尔可夫链。l 如果马尔可夫链的状态空间 有限，则被称为有限状态马尔可夫链；如果状态空间 是无穷集合，则被