2.3 离散序列信源的熵• 通常，实际信源每次输出的往往不是单个的 符号，而是一个符号序列通常一个消息序 列的每一位出现哪个符号都是随机的，(一般 前后符号之间的出现是有统计依赖关系的，) 这种信源称之为离散序列信源序列信源 • 信源所发符号序列的概率分布与时间的起点 无关，这种信源我们称之为离散序列平稳平稳信 源 • 本节在首先讨论无记忆信源后，对于有记忆 信源只讨论两种情况：平稳有记忆信源序列 和齐次可遍历马氏链信源 2.3.1 离散无记忆序列信源的熵• 如果有一个离散无记忆信源X，取值于集合 X={x1，x2，…，xl}，其输出消息消息序列序列可用若 干个长度为L的序列来表示，即等效于一个新 的信源(X的L重/次扩展信源) • 新信源每次输出的是长度为L的消息序列，用 L维离散随机向量/矢量来描述X=(X1，X2，… ，XL) ，其中每个分量都是随机变量Xi(i=1， 2，…，L)，它们都取值于同一集合{x1，x2， …，xn}，且分量之间统计独立，则由随机向 量X组成的新信源称为离散无记忆信源X的L 重/次扩展信源，这是最简单的符号序列无记 忆信源离散无记忆信源的序列熵• 设信源输出的随机序列为X=(X1，X2，…， XL)，序列长为L，序列中的变量为Xl∈{x1， x2，…，xn}。
随机序列的概率为 • 对无记忆信源，条件概率等于无条件概率，故• 可以证明，序列信源的序列熵序列熵（联合熵）为• i=nL 若又满足平稳性，即与序号l无关时， 则信源的序列熵可以表示为H(X X)=LH(X)，平 均每个符号熵符号熵为：离散无记忆信源的序列熵• 可见，离散无记忆信源X的L次扩展信源(或称 序列信源)的序列熵是单符号离散信源X的熵 的L倍 • H(X X)=LH(X)• 离散无记忆平稳信源平均每个符号的符号熵 HL(X)就等于单个符号信源的符号熵H(X)2.3.2 离散有记忆信源的序列熵• 平稳随机序列的定义：不严格的讲，所谓平 稳随机序列，就是序列的统计特性(事件发生 的概率)与时间的推移无关，即信源所发符号 的概率分布与时间起点无关，也即是信源是 稳定的 • 随机序列可以看成一个多维随机向量，各维 联合概率均与时间起点无关的• 对于平稳信源来讲，其条件概率也均与时间 起点无关，只与关联长度L有关平稳随机序列的熵• (参见：教材P29~30) • 若信源输出一个L长序列，则信源的序列熵序列熵为 • N维离散平稳有记忆信源的熵• 表示平均发一个消息(由N个符号组成)所提供 的信息量。
从数学角度出发，信源平均发一 个符号所提供的信息量应为• HN(X)为平均符号熵符号熵• 当信源退化为无记忆时，有• 若进一步满足平稳性，即与序号l无关时，则 有H(X)=LH(X) • 这一结论与离散无记忆信源结论是完全一致 的可见，无记忆无记忆信源是上述有记忆有记忆信源的 一个特例例2-11(P30)• 已知离散有记忆信源中各符号的概率空间为• 现信源发出二重符号序列消息(ai，aj)，这两 个符号的关联性用条件概率p(aj/ai)表示，由 下表给出 • 求：信源的序列熵、平均符号熵9/11 2/11 01/83/4 1/802/9 7/9• 分析： • 本题可以直接根据离散序列信源的序列信源 联合熵的定义来计算； • 此处利用联合熵的性质进行计算9/11 2/11 01/83/4 1/802/9 7/9解：条件熵为单符号信源熵为• 所以，发出二重符号序列的熵为• 平均符号熵为• 比较上述结果可知： ，即二重序 列的符号熵值较单符号熵变小了，也就是不 确定度减小了，这是由于符号之间存在相关 性造成的• 对离散平稳信源，其联合概率具有时间推移 不变性，此时有如下结论： • (1) H(XL|XL-1)是L的单调递减函数。
• 条件熵小于或等于无条件熵，条件较多的熵 小于或等于条件较少的熵 • (2) HL(X)是L的单调递减函数 • (3) HL(X)>=H(XL|XL-1) • 根据结论(1)与(2)，当L→∞时H(XL|XL-1)或 HL(X)将非递增地趋近于一个非负数！• (4) 符号熵当L→∞时，平均符号熵取极限值 ，• H∞(X)称为极限熵 • 结论(4)从理论上定义了平稳离散有记忆信源 的极限熵 • 对于离散平稳信源，当考虑依赖关系为无限 长时，平均符号熵和条件熵都非递增地一致 趋于平稳信源的信息熵(极限熵)• 于是有：• 式中，H0(X)表示等概率无记忆信源单个符号 的熵，H1(X)为一般无记忆信源单个符号(概率 分布可以不相等)的熵，H2(X)为两个符号组成 的序列平均符号熵，依此类推• 对于一般的离散平稳信源，实际上求此极限 值是相当困难的 • 但对于一般的离散平稳信源，由于取L不很大 时就能得出非常接近H∞(X)的平均符号熵 HL(X)或者条件熵H(XL/X1X2…XL-1) 因此， 可用HL(X)或者H(XL/X1X2…XL-1)作为平稳信 源极限熵的近似值齐次可遍历马氏链的极限熵例2-12(P33)• 已知一个三状态的马氏链的状态转移概率， 求信源极限熵。
• 分析：结合P14例2-22.4 连续信源的熵与互信息• 连续信源的统计特性采用概率密度函数来描 述 • 通常可以采用离散变量来逼近连续变量，即 认为：连续变量是离散变量的极限情况连续信源• 定义：输出消息在时间或取值上连续的信源 如语音，电视信源对应的数学工具为连 续型离散变量或随机过程 • 从统计特性上讲，连续随机过程大致可分为 平稳(统计特性-各维概率密度函数不随时间平 移而变化的随机过程)和非平稳随机过程两大 类 • 一般认为，通信系统中的信号都是平稳的随 机过程，或分段平稳的随机过程2.4.1 幅度连续的单个符号信源熵• 基本的连续信源的输出是取值连续的单个连续型、 随机变量，可用连续型随机变量的概率密度p(x)来描 述此时，连续信源的数学模型为：• 其中，R是全实数集，是变量X的取值范围• 对这个连续变量，可以用离散变量来逼近，即：连 续变量可以认为是离散变量的极限情况量化单位 越小，则所得的离散变量和连续变量越接近因此 ，连续变量的信息度量可以用离散变量的信息度量 来逼近• 把连续信源概率密度的取值区间[a，b]分割成 n个小区间，各小区间设有等宽△=(b-a)/n ， 那么，X处于第i区间的概率是：• • 其中，xi是a+(i-1)△到a+i△之间的某一值 。
• 当p(x)是x的连续函数时，由积分中值定理可 知，必存在一个xi值使上式成立， i=1，2，… ，n • 此时，连续变量X就可以用取值为xi的离散变 量Xn来近似连续信源X被量化为离散信源 ：• 且• 这时离散信源Xn的熵是：•当n→∞，△→0时，离散随机变量Xn趋于 连续随机变量X，而离散信源的熵H(Xn)的 极限值就是连续信源的信息熵确定值部分相对熵正无穷大的常数一般情况下，上式的第一项是定值，而当△→0 时 ，第二项是趋于无限大的常数所以丢弃第二项，定义连续信源的信源熵为：• 为什么要如此定义连续信源的熵呢？ • 一方面，因为这样定义可与离散信源的熵在 形式上统一起来(这里用积分代替了求和)、且 通常为有限数值；•另一方面，因为在实际问题中，常常讨论 的是熵之间的差值差值，如平均互信息等在讨 论熵差时，只要两者离散逼近时所取的间隔 △一致，无限大项常数将互相抵消掉• 可见，连续信源熵具有相对性的特点• 因此，连续信源的熵H(X)称为相对熵相对熵，也称 为差熵差熵，以区别于原来的绝对熵• 相对熵是为了进一步引入互信息量、信道容 量、信息率失真函数等概念而引入的一个过 渡性概念，取有限值是便于处理和分析。
• 由上式可知，所定义的连续信源的熵虽然形 式上和离散信源的熵相似，但并不是实际信 源输出的绝对熵：连续信源的绝对熵应该还 要加上一项无限大的常数项 • 这一点可以这样理解：因为连续信源的可能 取值数是无限多个，需要无穷多位二进制位 数(比特)来表示，若设取值是等概分布，那么 连续信源的不确定性为无限大当确知信源 输出为某值后，所获得的信息量也将为无限 大• 连续信源的相对熵值具有熵的部分含义和性 质，而丧失了某些重要的特性 • 比如，连续熵可以为负值• 连续信源的互信息则不然，由于是两个熵之 差，无穷大一项相互抵消，因此仍然具有信 息的一切特征典型的单符号连续信源熵• 1.均匀分布的连续信源的熵：仅与区域的边界 有关相对熵无非负性，可为负值负值• 例2-13：参见P35• 说明：连续信源的相对熵具有相对性2.高斯分布：• 可以证明，高斯分布( 正态分布)的连续信源 的相对熵与数学期望m无关，仅与方差方差σ有关 • 方差在物理含义上往往表示信号的交流功率 ，即p=σ2这就是说正态分布的相对熵仅与 信号功率p有关联合熵与条件熵• 类似地，可以定义两个连续变量X、Y的联合 熵和条件熵，即• 它们之间也有与离散信源一样的相互关系， 并且可以得到有信息特征的互信息：2.4.2 波形信源的熵2.4.3 最大熵定理• 在离散信源离散信源中，当信源符号等概率分布时信 源熵取最大值。
• 在连续信源连续信源中，相对熵也具有极大值，但其 情况有所不同 • 在信源的概率密度分布满足完备性条件的前 提下，根据不同信源类型的约束条件约束条件的不同 ，连续信源的最大熵值不同• 一般情况，求解连续信源的相对熵的最大值 ，必须满足下述完备性条件：最大连续熵定理• 主要讨论两种情况：• 信源输出符号的取值范围受限； • 信源输出符号的平均功率(方差)受限峰值受限的最大熵定理• (1)峰值受限(限峰值)条件下的信源最大熵定理 ：若信源输出的幅度被限定在[a，b]区域内( 即：信源的N维随机变量的取值在一定的范围 之内)，则：• 在有限的定义域内，当输出信号的概率密度 是均匀分布时，信源具有最大熵 • 其值等于log(b-a)平均功率(方差)受限的最大熵• (2)平均功率(方差)受限条件下的最大信源熵• 定理：若一个连续信源输出符号的平均功率 被限定为P(P=σ2 ) (或：对于相关矩阵一定的 随机变量X ) ，当输出信号幅度的概率密度分 布为高斯分布(正态分布)时，信源具有最大熵 ，其值为：• 即：在限制信号平均功率的条件下，正态分 布的信源具有最大熵，熵值随着平均功率的 增加而增加。
• 根据最大熵定理，如果信道中的噪声噪声变量符 合高斯分布时，噪声熵最大因此，在有限 的平均功率条件下，符合高斯分布的高斯白 噪声是对信道干扰最大的噪声类型，能够造 成信道中传输信息量的最大损失 • 在通信系统中，往往各种噪声干扰假定为高 斯白噪声类型，一则是为了简化分析过程， 更是为了克服最恶劣的噪声条件以获得通信 过程中最大的可靠性• 可见，连续信源在不同的限制条件下具有不 同的最大熵，在无限制条件时，最大熵不存 在 • 所以，在研究连续信源特性时，往往要研究 不同概率密度分布时的相对熵连续熵和互信息量的性质• 连续信源的相对熵可为负值(连续熵的相对性 所致)• 可加性• 平均互信息的非负性 • 平均互信息的对称性 • 平均互信息的信息不增性：连续信源也满足 数据处理定理• 定理 单符号连续信源的互信息I(U；V)具有 下列主要性质： • (1) 非负性：I(U；V)≥0 • (2) 对称性：I(U；V)=I(V;U) • (3) 信息不增性：I(U；V)≥I(U；W) •其中，W=f(V)2.5 冗余度• 冗余度也称多余度、剩余度，表示一个信源 在实际发出消息时所包含的多余的信息。
(P37)• 冗余度来自两个方面： • 1、信源符号间的相关性：由数据处理定理及离散序 列熵的性质可知• 可以看出，由于信源输出符号间的依赖关系使得信 源熵减小：信源的记忆长度越长，熵就越小。