《信息论与编码_曹雪虹_PPT第二章》由会员分享，可在线阅读，更多相关《信息论与编码_曹雪虹_PPT第二章（147页珍藏版）》请在金锄头文库上搜索。
1、第2章 信源与信息熵 n信源描述与分类 n离散信源的信息熵和互信息 n离散序列信源的熵 n连续信源的熵与互信息 n冗余度 1 引言 有效性和可靠性是通信系统中研究的中 心问题，信息论是在信息可度量基础上， 研究有效地和可靠地传递信息的科学。因 此，概率论、随机过程是信息论研究的基 础和工具。 2 信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到 消息以前，对信源发出什么消息是不确定的，所 以可用随机变量或随机矢量来描述信源输出的消 息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间： 3 信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的 描述。那么
2、,根据香农信息的定义，信息该如何度量 呢？ 当人们收到一封E_Mail，或看了电视，到底得 到多少信息量呢？显然，信息量与不确定性消除的程 度有关。消除多少不确定性，就获得多少信息量。那 么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具 有不确定性的事件就是随机事件。因此，可以应用研 究随机事件的数学工具 概率论来度量不确定性 的大小。简单地说，不确定性的大小可以直观地看成 是猜测某随机事件是否发生的难易程度。 4 不确定性的大小能够度量，信息也可以度量： n例如：设有甲、乙两个布袋内各装有100个球。 甲袋内红、白球各50个，乙袋内有红、白、蓝、黄 四种球，各25个。现
3、随意从甲袋或乙袋中摸出一球 ，并猜测“从甲袋中摸出的是红球”和“从乙袋中 摸出的是红球”的不确定性哪一个大？ n由此可见，某一事物状态的不确定性的大小，与 该事物可能出现的不同状态数目以及各状态出现的 概率大小有关。既然不确定性的大小能够度量，可 见，信息是可以度量的。 5 下面先回忆几个基本概念： 1）样本空间： n在随机事件（或实验）中，把某事物可能出现状态 ，即所有可能选择的消息集合在一起，称为样本空间 。 每个可能选择的消息称作是该样本空间的元素。 2）概率测度： n就是对每一个可能选择的消息指定一个概率。（非 负的，且总和为1）。 6 概率空间： 样本空间和它的概率测度统称为一个概率
4、空间， 用X，P来表示。在离散情况下，概率空间表示为： n其中： 就是消息 的概率，称为先验概率。 4）随机变量： X 可称为随机变量，就是从样本空间到实数区域 的单值映射。 7 2.1信源的描述与分类 n信源是产生消息（符号）、消息序列和连续消 息的来源。从数学上，由于消息的不确定性，因 此，信源是产生随机变量、随机序列和随机过程 的源 n信源的基本特性是具有随机不确定性 8 2.1信源特性与分类 n分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 9 2.1信源特性与分类 n离散无记忆序列信源 u布袋摸球实验，若每次
5、取出两个球，由两 个球的颜色组成的消息就是符号序列。若先 取出一个球，记下颜色放回布袋，再取另一 个球。 10 2.1信源特性与分类 n离散有记忆序列信源 u布袋摸球实验，每次取出两个球，由两个 球的颜色组成的消息就是符号序列。若先取 出一个球，记下颜色不放回布袋，再取另一 个球。 11 2.1信源特性与分类 n马尔可夫信源 u当信源的记忆长度为m+1时，该时该发出 的符号与前m个符号有关联性，而与更前面 的符号无关。 12 2.1信源描述与分类 n描述：通过概率空间描述 u单符号离散信源 例如：对二进制数字与数据信源 13 2.1信源描述与分类 u连续信源 14 2.1信源描述与分类 u离散
6、序列信源 以3位PCM信源为例 15 2.1信源描述与分类 当p=1/2 16 2.1信源描述与分类 n离散无记忆序列信源 u布袋摸球实验，若每次取出两个球，由两 个球的颜色组成的消息就是符号序列。若先 取出一个球，记下颜色放回布袋，再取另一 个球。 17 2.1信源描述与分类 n离散有记忆序列信源 u布袋摸球实验，每次取出两个球，由两个 球的颜色组成的消息就是符号序列。若先取 出一个球，记下颜色不放回布袋，再取另一 个球。 18 2.1信源描述与分类 n马尔可夫信源 u当信源的记忆长度为m+1时，该时该发出 的符号与前m个符号有关联性，而与更前面 的符号无关。 19 马尔可夫过程的概念 离散
7、参数马尔可夫链 连续参数马尔可夫链 补充：马尔可夫过程 20 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质 马尔可夫过程 21 补1 马尔可夫过程的概念 补1.1 有关定义 随机过程马尔可夫性：（物理描述） 当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。 22 补1 马尔可夫过程的概念 补1.1 有关定义 马
8、尔可夫过程定义：（条件概率） 给定随机过程X(t), tT,若对于任意n(3)个时刻 t1t2 tn-1 tn T, 有 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn) xn | X(tn-1) = xn-1 或 Fxn | x1, x2, , xn-1; t1, t2, , tn-1= Fxn; tn| xn-1 ; tn-1 或 fxn | x1, x2, , xn-1; t1, t2, , tn-1= fxn; tn| xn-1 ; tn-1 则称随机过程X(t), tT为马尔可夫过程。 23 补1 马尔可夫过程
9、的概念 补1.1 有关定义 例1 直线上的随机游动。 例2 电话交换站在某时刻接到的呼唤次数。 0,t=0,tm+(tm,t 次数(t)=次数(tm)+次数(tm,t) 例3 布朗运动。 概率p概率q 概率p概率q X(0)X(n) 24 补1 马尔可夫过程的概念 补1.1 有关定义 转移概率分布函数和转移概率密度的定义： 把马尔可夫过程X(t), tT的条件概率分布函数， F(x2 ; t2 | x1 ; t1= PX(t2) x2 | X(t1) = x1 称为马尔可夫过程的(状态）转移概率函数。 如果 则称f(x; t| x0 ; t0) 为马尔可夫过程的转移概率密度。 25 补1 马尔
10、可夫过程的概念 补1.1 有关定义 齐次马尔可夫过程的定义： 如果马尔可夫过程的转移概率函数或转移概率密度,只与 转移前后的状态及相应的二个时刻的时间差有关，而与二个 时刻无关，即 F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1) f(x2 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1) 称具有这种特性的马尔可夫过程为齐次马尔可夫过程。 26 补1 马尔可夫过程的概念 补1.1 有关定义 高阶马尔可夫过程的定义： 如果马尔可夫过程在tn时刻的状态，只与tn时刻以前的tn- 1, tn-2, tn-k这k个时刻的状态有关，而与更前时刻的
11、状态无关 ，即 F(xn ; tn | xn-1, xn-2, xn-k , xn-k-1 , x2 , x1 ;tn-1, tn-2, tn-k , tn-k-1 , t2 , t1 )= F(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2, tn-k) 或 f(xn ; tn | xn-1, xn-2, xn-k , xn-k-1 , x2 , x1 ;tn-1, tn-2, tn-k , tn -k-1 , t2 , t1 )= f(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2, tn-k) 则称具有这种特性的马尔可夫过程为k阶马
12、尔可夫过程。 27 5.1 马尔可夫过程的概念 5.1.2 切普曼柯尔莫哥洛夫方程 定理：马尔可夫过程的转移概率密度之间有下列关系： 其中， tktrtn 。此式称为切普曼柯尔莫哥洛夫(Chapman- Kolmogorov)方程。 证 利用由联合概率密度求边缘概率密度公式得 根据条件概率密度公式，上式的被积函数可表示成 28 补1 马尔可夫过程的概念 补1.2 切普曼柯尔莫哥洛夫方程 带入上式右端有 29 补1 马尔可夫过程的概念 补1.3 马尔可夫过程的分类 （1）时间离散、状态离散的马尔可夫过程马尔可夫链。 参数集T=0,1,2,状态空间E=整数 （2）时间连续、状态离散的马尔可夫过程可
13、列马尔可夫 过程、连续参数马尔可夫链。 参数集T=0, ,状态空间E=整数 （3）时间离散、状态连续的马尔可夫过程马尔可夫序列 。 参数集T= 0,1,2,状态空间E= (-, +) （4）时间连续、状态连续的马尔可夫过程。 参数集T= 0, ,状态空间E= (-, +) 30 补1 马尔可夫过程的概念 例1 独立过程是马尔可夫过程。 证 设X(t), tT是一独立过程，随机事件X(t1)=x1, X(t2)=x2, X(tn-1)=xn-1, X(tn) xn相互独立，所以 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(t
14、n) xn = PX(tn) xn | X(tn-1) = xn-1 因此， X(t), tT是马尔可夫过程。 31 补1 马尔可夫过程的概念 例2 独立增量过程是马尔可夫过程。 证 设X(t), tT是一独立增量过程，且X(0)=0，有 X(t1)- X(0) = X(t1) , X(t2)- X(t1), , X(tn-1)- X(tn-2), X(tn)- X(tn-1) 相 互独立。在X(tn-1)已知的条件下， X(tn)- X(tn-1) 与X(t1) ，X(t2) =X(t2)- X(t1)+ X(t1), X(t3) =X(t3)- X(t2)+ X(t2), X(tn-1)
15、=X(tn-1)- X(tn-2)+ X(tn-2)相互独立。 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 = PX(tn) xn | X(tn-1) = xn-1 因此， X(t), tT是马尔可夫过程。 32 补1 马尔可夫过程的概念 例3 维纳过程W(t), t0是独立增量过程，且W(0) = 0 ，所以，维纳过程是马尔可夫过程。 例4 泊松过程N(t), t0是独立增量过程，且N(0) = 0， 所以，泊松过程是马尔可夫过程。 思考：马尔可夫过程的无前效性。 33
