熵和互信息-马尔可夫信源1.马尔可夫信源 设一般信源所处的状态 ，在每一 状态下可能输出的符号 定义：若信源输出的符号序列和信源所处的状态 满足以下两个条件 （1）某一时刻信源符号的输出只与此时刻信源所 处的状态有关，而与以前的状态及以前的输出 符号都无关，即熵和互信息-马尔可夫信源当具有齐次性时，有（2）信源某 时刻所处的状态由当前的输出符号和前一 时刻 信源的状态唯一决定，即则此信源称为马尔可夫信源熵和互信息-马尔可夫信源上述定义和描述的是一般的马尔可夫信源但常 见的是m阶马尔可夫信源，它在任何时刻 ， 符号发生的概率只与前面m个符号有关，我们 可以把这前面m个符号序列看作信源在此 时 刻所处的状态因为信源符号集共有q个符号， 则信源可以有 个不同的状态，他们对应于个长度为m的不同的符号序列熵和互信息-马尔可夫信源因此，m阶马尔可夫离散信源的数学模型可由一 组信源符号集和一组条件概率确定：并满足熵和互信息-马尔可夫信源M阶马尔可夫信源在任何时刻 ，符号发生的概 率只与前m个符号有关，所以可设状态。
由于 均可取 可得信源的状态集 这样 一来，条件概率可变换成条件概率 表示任何 时刻信源处在 状 态时，发出符号 的概率而 可任取之一，所以可以简化成 表示 熵和互信息-马尔可夫信源而在 时刻，信源发出符号 后，由符号组成了新的信源状态，即信源所处的状态也由 转移到 ，它们之间的转移概率叫做一步转移概 率 ，简记为 ，它可由条件概率 来确定，表示在 的情况下，经一步转移到 状态 的概率对于齐次马尔可夫链，其转移 概率具有推移不变性，因此， 可简写为 熵和互信息-马尔可夫信源推广可得 ，它表示系统 在时刻m处于状态 ，经(n-m)步转移后在时刻 n处于状态 的概率它具有以下性质：记k步转移概率为 由于有 个状态，所以状态转移概率是一个 矩阵，记为：熵和互信息-马尔可夫信源矩阵P中第 行元素对应与从某一个状态 转移 到所有状态 的转移概率，显然矩阵中每一个 元素都是非负的，并且每行元素之和均为1；第 列元素对应与从所有状态 转移到同一个 状态 的转移概率，列元素之和不一定为1。
注意：状态转移矩阵与条件概率矩阵是不同的熵和互信息-马尔可夫信源n几个基础概念：n无记忆源：信源发出的符号之间彼此统计独立n有记忆源：n平稳源：信源输出符号序列的概率分布和起点无关n有限记忆源：信源在l时刻的输出只和前面有限个随机变量 有关nM阶马尔可夫源：信源在l时刻的输出只和前面m个随机变量有关n普通马尔可夫源：m＝1n信源状态：已发出的长度为m的前导符号序列n齐次马尔可夫源：条件转移概率和时间起点无关n稳态马尔可夫源：n＋1时刻的状态分布和n时刻的状态分布一样熵和互信息-马尔可夫信源对于齐次马尔可夫链来说，一步转移概率完全决 定了k步转移概率§无条件状态概率 的计算： 就是 从初始状态经k步转移后，停留在某一个状态 的概率为计算该概率，需要知道初始状态概 率，即 这时，熵和互信息-马尔可夫信源§转移概率 的平稳分布 ： 问题：此极限如果存在，其值是多少 求法：如果存在，且等于一个与起始状态 无关的被称 为平稳分布的 ，则不论起始状态是什么， 此马氏链可以达到最后的稳定，即所有状态的概率分 布均不变。
在这种情况下，就可以用（P）这一矩阵来 充分描述稳定的马氏链，起始状态只使前面有限个变 量的分布改变要求 ，只要它存在，则，上式中， 与 均为稳态分布概率再 加上约束条件 ，两式联立求解，就可以求出 稳态分布概率 熵和互信息-马尔可夫信源例题1:有一个二阶马氏链 ，其符号概率如表1，状态变 量 ，求其状态转移概率表，画出其状态转 移图，求出各状态的平稳分布概率表1 符号条件概率表 表2 状态转移概率表起始 状态符 号 0 100 1/2 1/201 1/2 2/310 1/4 3/411 1/5 4/5起始 状 态终 止 状 态 (00) (01) (10) (11)00 1/2 1/2 0 001 0 0 1/3 2/310 1/4 3/4 0 011 0 0 1/5 4/5熵和互信息-马尔可夫信源求出的状态转移表如表2所示。
方法是：比如在状 态01时，出现符号0，则将0加到状态01后，再 将第一位符号0挤出，转移到状态10，概率为 1/3依此类推 状态转移图如下图所示：熵和互信息-马尔可夫信源状态转移图：01001011(1)1/2(0)1/4(1)2/3(0)1/5(0)1/3 (1)3/4(0)1/2(1)4/5熵和互信息-马尔可夫信源求状态平稳分布概率： 由得：熵和互信息-马尔可夫信源解之得：由例子可以看出，状态转移矩阵与条件概率矩阵 是不同的例题2：三态马尔柯夫信源的状态转移矩阵为熵和互信息-马尔可夫信源状态转移矩阵为画出其香农线图，求其稳态状态概率分布和符号 概率分布 解：香农线图为熵和互信息-信源及信源熵稳态状态概率分布：解得：熵和互信息-马尔可夫信源3.马尔可夫信源的信息熵 在马尔柯夫信源输出的符号序列中，符号之间是有依赖 关系的，信源所处的起始状态不同，信源发出的符号 序列也不相同对m阶马尔柯夫信源，能够提供的平 均信息量，即信源的极限熵 ，就等于 ，而 式中， 是马尔可夫链的平稳分布概率，熵函数 表示信源处于某一状态 时发出一个符号的平均不确 定性，熵和互信息-马尔可夫信源也就是说，马尔可夫信源的平均符号熵 是信 源处于某一个状态 时发出一个符号的平均符 号熵 ，在全部状态空间的统计平均值 。
熵和互信息-马尔可夫信源例题3：如图所示三态马尔可夫信源，写出其状态 转移矩阵，画出其状态转移图，求出稳态概率 分布，并求其极限熵 解：由图可以写出其状态转移矩阵为1/0.10/0.9 1/0.50/0.51/0.20/0.8熵和互信息-马尔可夫信源稳态概率分布：解得条件熵熵和互信息-马尔可夫信源因此熵和互信息-简单回顾n对于信源来说有两个重要问题：n如何计算信源输出的信息量n如何有效地表示信源输出n前面我们讨论了第一个问题重点如下：n信源的统计特性和数学模型n各类信源（离散无记忆单符号信源、离散有记忆单符号信源 、连续信源、离散信源序列）的信息测度-熵及其性质n自信息量、互信息量、熵、冗余度等的概念、定义、性质以 及它们之间的关系n后面我们将讨论信源编码和信道编码，通过讨论，可以 进一步理解：n信源编码：通过减少或消除信源的冗余度来提高传输效率n信道编码：通过增加信源的冗余度来提高抗干扰能力。