《第2章信息论基本概念3》由会员分享，可在线阅读，更多相关《第2章信息论基本概念3（51页珍藏版）》请在金锄头文库上搜索。
1、3. 离散有记忆信源马尔可夫信源离散有记忆信源马尔可夫信源马尔可夫信源马尔可夫信源非平稳离散信源中的一类特殊信源。非平稳离散信源中的一类特殊信源。 是由信源发出的各个符号之间的关连性构成一个整体消息。是由信源发出的各个符号之间的关连性构成一个整体消息。这种关连性用符号的这种关连性用符号的转移概率（条件概率）转移概率（条件概率）表示：表示： 如：如：BOY P(B) P(O|B) P(Y|BO) 若马尔可夫信源发出每个符号都取决于它与前面的若马尔可夫信源发出每个符号都取决于它与前面的K个符个符号之间的关连性，也就是该信源是以转移概率号之间的关连性，也就是该信源是以转移概率P(Xi|Xi-k, X
2、i-k+1, , Xi-1)发出每个符号，这种信源称作发出每个符号，这种信源称作K阶马尔可夫信源阶马尔可夫信源。赏罩贷兆颗呻扳圃猪缉乘纫柠肇故疮闷胁删据坎刃靳垄煞鞍挨遣仪帛奥晋第2章-信息论基本概念3第2章-信息论基本概念3马尔可夫过程：马尔可夫过程： 对于任意的大于对于任意的大于2 2的自然数的自然数n n，在连续的时间，在连续的时间T T轴上有轴上有n n个不同时个不同时刻，刻，t1，t2，tn满足，在满足，在t tn时刻的随机变量时刻的随机变量Xn与其前面（与其前面（n n1 1）个时刻的随机变量）个时刻的随机变量X1，X2，Xn1的关系可用它们之间的条的关系可用它们之间的条件概率密度函
3、数来表示，如果满足下式：件概率密度函数来表示，如果满足下式： p( (Xn ，tn| Xn 1 ， tn1 ，Xn2， tn2，X1，t1) ) p( (Xn ，tn| Xn 1，tn 1) ) 则这种随机过程称为则这种随机过程称为单纯马尔可夫过程单纯马尔可夫过程（一阶马尔可夫过程一阶马尔可夫过程） K K阶马尔可夫过程阶马尔可夫过程的特征为：的特征为： p( (Xn ，tn| Xn 1 ， tn1 ，Xn2， tn2，X1，t1) ) p( (Xn ，tn| Xn1，tn1 ，Xn2， tn2，Xnk，tnk) )预备知识预备知识:马尔可夫过程、马尔可夫链马尔可夫过程、马尔可夫链裹焰响滦凿椽
4、设懊踊局奔蛆摹辗缚删疯玻鞠痢陕姥菏尔泼尚创耳眶闺曳毁第2章-信息论基本概念3第2章-信息论基本概念3马尔可夫链：马尔可夫链： 当马尔可夫过程的随机变量幅度和时间参数均取离散值时，当马尔可夫过程的随机变量幅度和时间参数均取离散值时，就称作马尔可夫链。就称作马尔可夫链。 设随机过程在时间域上设随机过程在时间域上T T t1，t2， ，tk1，tk，tn1，tn 的的n n个离散时刻上的状态个离散时刻上的状态Xk ( (k1 1，2 2，3 3， ，n)n)都是离都是离散型的随机变量，并且有散型的随机变量，并且有M M个不同的取值个不同的取值S S1 1,S,S2 2, ,S,SM M，这，这M M
5、个取值个取值便构成一个状态空间便构成一个状态空间S S，S SSS1 1,S,S2 2, ,S,SM M.在在n n个时刻上的个时刻上的n n个状个状态构成一个随机序列（态构成一个随机序列（X1，X2， ，Xk1，Xk，Xn1，Xn）踌则烃啄崖锗舀狮腰署谁庚泉赏狠登岔镣偶褐痉淑晃尘腐睁扑扎趋黑疽荡第2章-信息论基本概念3第2章-信息论基本概念3对于这个随机序列，若有：对于这个随机序列，若有：则此序列称为则此序列称为单纯马尔可夫链（一阶马尔可夫链）。单纯马尔可夫链（一阶马尔可夫链）。一阶马尔可夫链在一阶马尔可夫链在tn时刻的取值时刻的取值Xn S Sin的概率仅与前一状态的概率仅与前一状态Xn-
6、1有有关，与其它时刻状态无关，它的记忆长度为两个时刻。若与它前关，与其它时刻状态无关，它的记忆长度为两个时刻。若与它前面面K K个时刻个时刻tn-1，tn-2， ，tn-k有关，则为有关，则为K K阶马尔可夫链，它的记阶马尔可夫链，它的记忆长度为（忆长度为（K+1K+1）个时刻。）个时刻。 设一阶马尔可夫链在时刻设一阶马尔可夫链在时刻tk1随机序列的取值随机序列的取值Xk1S Si，而在下，而在下一时刻一时刻tk，随机序列的取值，随机序列的取值XkS Sj，则条件概率为，则条件概率为: : P(j|i) P(j|i)P(P(XkS Sj| |Xk1S Si ) ) 因为因为P(j|i)P(j|
7、i)仅取决于状态仅取决于状态S Sj和和S Si ，因此称，因此称P(j|i)P(j|i)为由状态为由状态S Si向向S Sj的转移概率。的转移概率。秆去纱旁太檬滤爽翱含硕奄酉亿陛葛刺砰窑盛绕匪姿卯府牵骸凝省懂进脓第2章-信息论基本概念3第2章-信息论基本概念3对于具有对于具有M M个不同的状态空间，个不同的状态空间，M M2 2个转移概率可排成一转移矩阵：个转移概率可排成一转移矩阵： 每行元素代表同一起始状态到每行元素代表同一起始状态到M M个不同终止状态的转移概率；个不同终止状态的转移概率； 每列元素代表每列元素代表M M个不同起始状态到同一终止状态的转移概率；个不同起始状态到同一终止状态
8、的转移概率； 显然有：显然有： P(j|i) P(j|i)1 1 （i=1,2, i=1,2, ,M,M） K K阶马尔可夫链每个状态由阶马尔可夫链每个状态由K K个符号组成个符号组成。若信源符号有。若信源符号有D D种，种，则状态数目则状态数目M M为：为： M MD DK K榆健曾糊矢募逼汕版矿膊仟赵瞅右肃噎屏锻讣于劲玫蘸挎地泡般倍裁雅船第2章-信息论基本概念3第2章-信息论基本概念3 马尔可夫链可以用香农线图表示。马尔可夫链可以用香农线图表示。(a),(b),(c)(a),(b),(c)分别表示信源含两种字母分别表示信源含两种字母(D(D2)2)的一阶、的一阶、二阶和三阶马尔可夫链的线图
9、。二阶和三阶马尔可夫链的线图。(d),(e)(d),(e)分别表示分别表示D D3 3和和D D4 4的一阶马尔可夫链的线图。的一阶马尔可夫链的线图。骑瘤鸦河莫兹兄孺阮铆咯刀瘩圾鲤卵母赁希联觅彩手游瓤巍狱臀坛淆拙脆第2章-信息论基本概念3第2章-信息论基本概念3一、概述一、概述 一般情况下，信源输出符号之间的相关性可以一般情况下，信源输出符号之间的相关性可以追溯到追溯到最初的一个符号最初的一个符号，而在许多信源的输出符号，而在许多信源的输出符号序列中，符号之间的依赖关系是有限的序列中，符号之间的依赖关系是有限的任何时任何时刻信源符号发生的概率只与前面已经发出的若干个刻信源符号发生的概率只与前面
10、已经发出的若干个符号有关，而与更前面发出的符号无关符号有关，而与更前面发出的符号无关。这类信源。这类信源在输出符号时不仅与符号集有关，还与信源的状态在输出符号时不仅与符号集有关，还与信源的状态有关。有关。罗寂恕临仕粗漳年式痉澜隋邪蝶孤巧危礁忱念鞍舌荚艺践峪贝划重茄彝窘第2章-信息论基本概念3第2章-信息论基本概念3咸远泡嫂拼交粗沃料尚砍蜀赔邑疏拈诸赛年亡眷逊磕颠权酋清特悉祟膝理第2章-信息论基本概念3第2章-信息论基本概念3状态转移图状态转移图(香农线图香农线图) E1 E3E20:0.51:0.71:0.60:0.31【注】【注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另一是三种
11、状态，箭头是指从一个状态转移到另一个状态，旁边的数字代表发出的某符号和条件概率个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei) 。这。这就是香农提出的马尔可夫状态转移图，也叫香农线图。就是香农提出的马尔可夫状态转移图，也叫香农线图。抹标葡廉睡阂忽演誉奥愉忧湘女锄准晾坟粱指吼险集翰饲豺付搽奋组只辩第2章-信息论基本概念3第2章-信息论基本概念3二、马尔可夫信源二、马尔可夫信源 若信源输出的符号和信源所处的状态满足以下两个条若信源输出的符号和信源所处的状态满足以下两个条件，则称为马尔可夫信源：件，则称为马尔可夫信源：酥郊珠草武地旧茂瞥自汾返担诽初稻郡彭憋填谤凋谦姑朴鹤拆扫揩而琴企第2章
12、-信息论基本概念3第2章-信息论基本概念3【注】【注】上述条件表明，若信源处于某一状态上述条件表明，若信源处于某一状态Ei，当它发出一个符号后，所处的状态就变了。当它发出一个符号后，所处的状态就变了。状态状态的转移依赖于所发出的信源符号的转移依赖于所发出的信源符号，因此任何时刻，因此任何时刻信源处在什么状态完全由前一时刻的状态和发出信源处在什么状态完全由前一时刻的状态和发出的符号决定。又因条件概率的符号决定。又因条件概率p(ak/Ei)已给定，所以已给定，所以状态之间的转移有一定的概率分布状态之间的转移有一定的概率分布，并可求出状，并可求出状态的一步转移概率态的一步转移概率p(Ej/Ei)。亦
13、硝惫丝弦垢刷粮恢驶罗乐筒幌锡钟峡雄吸膜怪敌芝蛮独附些训憾娥执祈第2章-信息论基本概念3第2章-信息论基本概念3例：例：设某信源符号设某信源符号XA=a1,a2,a3，信源所处的状态，信源所处的状态SE=E1,E2,E3,E4,E5。各状态之间的转移情况如下各状态之间的转移情况如下图所示，请判断这是否是一个马尔可夫信源？图所示，请判断这是否是一个马尔可夫信源？尚疲搪道讼饼徒俐貌丙真咽悼疮篙侄械班卸移钨陵桨影彼乃群锦虱悠湖搐第2章-信息论基本概念3第2章-信息论基本概念3解解：（1）信源在）信源在Ei状态下输出符号状态下输出符号ak的条件概率的条件概率p(ak/Ei)用矩阵用矩阵表示为表示为:彭队
14、兼逗架妨鸡待砾磋笛仍耀扳酵甸闷寡琢壹环迭场琴磅志衣樱粉什屯燥第2章-信息论基本概念3第2章-信息论基本概念3（2）该信源在）该信源在l时刻所处的状态由当前的输出符号与前一时刻时刻所处的状态由当前的输出符号与前一时刻(l-1)信源的状态唯一决定信源的状态唯一决定: 此信源满足马尔可夫的此信源满足马尔可夫的两个条件，所以是马尔可夫两个条件，所以是马尔可夫信源，并且是齐次马尔可夫信源，并且是齐次马尔可夫信源。信源。萌吟匈爪差悯哭买徘耸娘原么济肃祈冀眠颠锨增攻誉试鹅士贤睫腻磊慧九第2章-信息论基本概念3第2章-信息论基本概念3三、三、 m阶马尔可夫信源阶马尔可夫信源n 一般有记忆信源：一般有记忆信源：
15、 发出的是有关联性的各符号构成的整体消息，即输出的发出的是有关联性的各符号构成的整体消息，即输出的是符号序列，并用是符号序列，并用符号间的联合概率符号间的联合概率描述这种关系。描述这种关系。n 马尔可夫信源：马尔可夫信源： 用符号之间的用符号之间的转移概率（条件概率）转移概率（条件概率）来描述这种关联来描述这种关联关系。即马尔可夫信源是以转移概率输出每个信源符号。关系。即马尔可夫信源是以转移概率输出每个信源符号。穷妇余村冒贫每散享栽稍河捞六孰谷抗昏喻敏烈歹黄圈卯店刷工漆匀拱册第2章-信息论基本概念3第2章-信息论基本概念3n m阶马尔可夫信源阶马尔可夫信源 在某一时刻在某一时刻l，符号出现的概
16、率仅与前面已出现的，符号出现的概率仅与前面已出现的m个符号有个符号有关，可以把这前面关，可以把这前面m个符号序列看成信源在个符号序列看成信源在l时刻所处的状态。时刻所处的状态。若每符号取值若每符号取值q种，则共有种，则共有qm种状态，每种状态对应一个种状态，每种状态对应一个m长长(q 进制进制)序列序列 ，这种状态序列符合马尔可夫链的性质，可用马氏链，这种状态序列符合马尔可夫链的性质，可用马氏链来描述，这种信源称为来描述，这种信源称为m阶马尔可夫信源。数学模型：阶马尔可夫信源。数学模型：【注】【注】当当m=1时，为一阶马尔可夫信源。时，为一阶马尔可夫信源。沏铝鸽每槽濒捧轻塘既无豌秘疽羞菠捉展乾
17、兔阳共柄四赏帝盈摈卒亿聋排第2章-信息论基本概念3第2章-信息论基本概念3n 马尔可夫信源熵马尔可夫信源熵陨鳖颓莲废扰坚甄捉出备肿挎想芋耀屑肿寝韶谣妮镀关西斋耗递檬窿绍辜第2章-信息论基本概念3第2章-信息论基本概念3设状状态 ,信源信源处于状于状态时，再，再发出下一个符号出下一个符号此此时，符号序列，符号序列 就就组成了新的信源状成了新的信源状态，这时信源所信源所处的状的状态由由转移到移到 何稼幽蛰锣挑勋纷螟筑利妒雄降捍娶肄癸锐蹈寄炭笺界竿施懒沤津泻层糠第2章-信息论基本概念3第2章-信息论基本概念3【注】【注】可可见求解求解马尔尔可夫信源条件可夫信源条件熵关关键是要得到是要得到测辈衣周秀摔
18、诡椽蛔半朴刃爹溺柴焚资痕十玉蘑汇饰惭豌姿特艘骋缠掖曲第2章-信息论基本概念3第2章-信息论基本概念3【注】【注】u 上述定理说明，有限齐次、遍历马尔可夫链信源，上述定理说明，有限齐次、遍历马尔可夫链信源，在初始时刻可以处在任意时刻，然后状态之间可以在初始时刻可以处在任意时刻，然后状态之间可以转移，经过足够长时间之后，信源处于什么状态已转移，经过足够长时间之后，信源处于什么状态已与初始状态无关。与初始状态无关。u 状态极限概率方程组可写为：状态极限概率方程组可写为：氮句赂芭论纪较甸办选赎匆钠捞咋瞅掷猜椰登室即恶岗低姬斑衙钻阀矣缕第2章-信息论基本概念3第2章-信息论基本概念3例例1 设有二元二阶
19、马尔可夫信源：设有二元二阶马尔可夫信源：寨训彬刁舰传侣骸夷乱仕棠狈反唉屎虑脂婆摆案拎袁谴丽岂桃蔽镣讽树雍第2章-信息论基本概念3第2章-信息论基本概念3洒屑屉痛标林屁放箩噎背男豌敏砾或课充厄碰驰总虞冻骨奉次腥靠拧拣些第2章-信息论基本概念3第2章-信息论基本概念3【结论】【结论】l 信源达到稳定后，信源符号的概率分布与初始概率不同，信源达到稳定后，信源符号的概率分布与初始概率不同，因此一般马尔可夫信源并非是平稳信源。但当时齐、遍历的马因此一般马尔可夫信源并非是平稳信源。但当时齐、遍历的马尔可夫信源达到稳定后，就可看成一个稳定信源。尔可夫信源达到稳定后，就可看成一个稳定信源。l 计算信源的信息熵
20、，对于平稳信源须知道信源的各维概率计算信源的信息熵，对于平稳信源须知道信源的各维概率分布，而对于分布，而对于m阶马尔可夫信源，只要知道与前面阶马尔可夫信源，只要知道与前面m个符号有个符号有关的条件概率，因此一般信源可用关的条件概率，因此一般信源可用m阶马尔可夫信源来近似。阶马尔可夫信源来近似。弥阀资纲碟鼻否全萍漱吞亡肃金揭歉婿犊篓搁坟石疗褂躺拢缝饯谢烤得痕第2章-信息论基本概念3第2章-信息论基本概念3 例例2：有一个有一个马尔尔可夫信源，已知可夫信源，已知 试画出画出该信源的香信源的香农线图，并求出信源，并求出信源熵。 解：解：该信源的香信源的香农线图为： 在在计算信源算信源熵之前，先用之前
21、，先用转移概率求移概率求稳定状定状态下二个状下二个状态x1和和 x2 的概率的概率 和和 可得：可得： 马尔可夫信源熵马尔可夫信源熵 娟羌思释臭携县禄陵吊持并飘谋缩深讥限轩胰淆战撞苟蝎伊鼓烹套陀贤喜第2章-信息论基本概念3第2章-信息论基本概念3例例3：一一阶马尔尔可夫信源的状可夫信源的状态图如下，信源的符号集如下，信源的符号集为0,1,2，并定，并定义p+q=1。 (1) 求信源平求信源平稳后的状后的状态极限概率分布极限概率分布; (2) 求此信源的求此信源的熵； (3) 近似近似认为信源无信源无记忆时，符号的概率分布等于平，符号的概率分布等于平 稳分布。分布。求近似信源的求近似信源的熵H(
22、X) ，并与，并与H进行比行比较； (4) 对一一阶马尔尔可夫信源可夫信源p取何取何值时H取最大值？又当取最大值？又当p=0或或p=1时结果如何？时结果如何？01p/2p/2qp/2p/2p/2p/2qq攀宁灵泽噬江迈具冯剿廷医冕兢渊片谗输降睹剖乐间萤掠应浮视谴蔫莉肿第2章-信息论基本概念3第2章-信息论基本概念3例例4：设有一信源，它在开始有一信源，它在开始时以以p(a)=0.6、p(b)=0.3、p(c)=0.1的概率的概率发出符号出符号X1，如果，如果X1为a时，则X2为a、b、c的概率均的概率均为1/3；如果；如果X1为b时，则X2为a、b、c的概率均的概率均为1/3；如果；如果X1为
23、c时，则X2为a、b的概率的概率均均为1/2，为c的概率的概率为0。而且后面。而且后面发出出Xi的概率只的概率只与与Xi-1有关。又有关。又p(Xi| Xi-1)= p(X2| X1)，i3。利用马尔。利用马尔可夫信源的图示画出状态转移图，并计算信源熵可夫信源的图示画出状态转移图，并计算信源熵H 。拥苍馆箭塞咏羌族虾颇废驭涵诞糖肘蔑霜柿翌铬练绰占稿汁蛔磕肌猾陌捍第2章-信息论基本概念3第2章-信息论基本概念3n 马氏链的可约性马氏链的可约性马氏链可约性马氏链可约性: 若对所有若对所有 k，都有，都有k步转移概率步转移概率p(k)ij=0，就意味，就意味着一旦出现着一旦出现 Si以后不可能到达以
24、后不可能到达Sj, 也就是不能各态遍也就是不能各态遍历，或者状态中应把历，或者状态中应把Sj取消，这样就成为可约的了。取消，这样就成为可约的了。k步转移概率：步转移概率：经过经过k个时刻后状态的转移概率。个时刻后状态的转移概率。 p(k)ij=p(sl+k=Ej |sl=Ei)啤哟掷簇鳃企烙视渣涌潘碉骸活含阵抉嗓餐兰居傍前氖晨烫渤要姚整不较第2章-信息论基本概念3第2章-信息论基本概念3马氏链不可约性马氏链不可约性: 对任意一对对任意一对i和和j，都存在至少一个，都存在至少一个k使使p(k)ij0，这就是说从，这就是说从Si开始，总有可能到达开始，总有可能到达 Sj. 撞虚润词犁督贬挣佛札溜眶
25、辆限茬鸡煞棍疟肆扔淘俩桔才赞够伟哮技惩苦第2章-信息论基本概念3第2章-信息论基本概念3S1S3S21/21/21/21/21S4S51/21/2可约马氏链可约马氏链1/21/2 由状态由状态S3转移到转移到S1的转移概率的转移概率p(k)31=0，因为一，因为一进人状态进人状态S3就一直继续下去，而不会再转移到就一直继续下去，而不会再转移到其他状态。其他状态。P(k)41=0也是明显的，因也是明显的，因S4和和S1之间之间没有连接箭头，因此这种链就是可约的。没有连接箭头，因此这种链就是可约的。 贬脑咱蒙瀑筑链躬蔑往捞邪仔二攀供秆怎墅磐鸦犹跪兽酗玫破持伊颇孪迎第2章-信息论基本概念3第2章-信
26、息论基本概念3 小结小结 两种有记记忆信源比较两种有记记忆信源比较类型类型 m阶马尔可夫过程阶马尔可夫过程 m长有记忆信源长有记忆信源 依赖关系依赖关系(相当于相当于)记忆长度为记忆长度为mm个符号为一组个符号为一组组内相关，组间无关组内相关，组间无关描述描述 状态转移状态转移(条件条件)概率概率 联合概率联合概率 每符号每符号平均熵平均熵 极限熵极限熵Hm+1 Hm(X)=lim(1/m)H(X1X2Xm) 攫嗓拉镣筐那哎脉数烯秒迄客拴烦诈勘鸡迷屑陋抿败媚缀夺惦现烩树谅徊第2章-信息论基本概念3第2章-信息论基本概念3 总结总结: :各种离散信源的熵各种离散信源的熵 (1) (1) 发出单个
27、符号消息的离散无记忆信源熵发出单个符号消息的离散无记忆信源熵 若信源发出若信源发出N N个不同符号个不同符号X1，X2，Xi，XN , 代表代表N N种不同种不同的符号，各个符号的概率分别为的符号，各个符号的概率分别为 P P1 1， P P2 2， P Pi，P PN N 因为这些符号相互独立，所以该信源熵为：因为这些符号相互独立，所以该信源熵为： H H（X X） P PiloglogP Pi bit/ bit/符号符号 (2)(2)发出符号序列消息的离散无记忆信源熵发出符号序列消息的离散无记忆信源熵 发出发出K K重符号序列消息的离散无记忆信源熵为共熵重符号序列消息的离散无记忆信源熵为共
28、熵H(XH(XK K) )，它与单，它与单个符号消息信源熵个符号消息信源熵H(X)H(X)有如下关系：有如下关系： H(X H(XK K) )KH(X)KH(X)KK P PiloglogP Pi bit/ bit/符号序列符号序列 尔橱谈纲辫长绽驰铝锣迎创浩理画积希缆擦律杆咽丹茵琶节忻遥音式雅荐第2章-信息论基本概念3第2章-信息论基本概念3 (3)(3)发出符号序列消息的离散有记忆信源熵发出符号序列消息的离散有记忆信源熵 发出发出K K重符号序列消息的离散有记忆信源熵也为共熵重符号序列消息的离散有记忆信源熵也为共熵H(XH(XK K) ) 当当K K2 2时时 H(X H(X2 2) )H
29、(X)H(X)H(X|X)H(X|X) H(X|X) H(X) H(X|X) H(X) H(XH(X2 2) 2H(X) 2H(X) 推广到推广到K K重重 H(XH(XK K) )H(X)H(X)H(X|X)H(X|X)H(X|XXH(X|XXX) X) bit/bit/符号序列符号序列 (K1)个个漏滚斟片婴滤歼捕胖忽相度纺谋税琼调枝销皂械碗云坛咽位登挫疹陶鼓零第2章-信息论基本概念3第2章-信息论基本概念3 (4) (4) 发出符号序列消息的马尔可夫信源熵发出符号序列消息的马尔可夫信源熵 马尔可夫信源熵是条件熵马尔可夫信源熵是条件熵 若从前一状态若从前一状态E Ei转移到后一状态转移到后
30、一状态E Ej有多种可能性，则信源由有多种可能性，则信源由状态状态E Ei发出一个符号的发出一个符号的H Hi为为 H Hi P(j|i)logP(j|i) P(j|i)logP(j|i) 再进一步对前一状态再进一步对前一状态E Ei的全部可能性作统计平均，就得马的全部可能性作统计平均，就得马尔可夫信源熵尔可夫信源熵 H H 为为 H H P(i)H P(i)Hi P(i) P(j|i)logP(j|i) bit/ P(i) P(j|i)logP(j|i) bit/符号符号 哼迁鹅舔珊咆丘瓜崎隔胺帮诛登拱椿岂系乐柯畴搜甄策螟惨劳劲淑蠢示忍第2章-信息论基本概念3第2章-信息论基本概念34. 各
31、种离散信源的时间熵各种离散信源的时间熵 信源的时间熵信源的时间熵在单位时间内信源发出的平均信息量，单位在单位时间内信源发出的平均信息量，单位 为为s(s(秒秒) )或其他特定的时间单位或其他特定的时间单位 发出单个符号消息的离散无记忆信源的时间熵发出单个符号消息的离散无记忆信源的时间熵 已知离散无记忆信源各符号的概率空间已知离散无记忆信源各符号的概率空间 由于发出各符号所占有时间是不同的由于发出各符号所占有时间是不同的 可设符号可设符号X1的长度为的长度为b b1 1，X2为为b b2 2，Xi为为b bi，XN为为b bN 单位均为单位均为s(s(秒秒) ) 则信源各符号的平均长度是各个的概
32、率加权平均值，即则信源各符号的平均长度是各个的概率加权平均值，即 X XP(X)P(X)X1，X2， ，Xi，XNP P1 1， P P2 2， P Pi， P PNs/符号豆辨菠除筐卸畔拥挝跃簇舀藐七陇涕范踞叹人薛抵十炉阴瓢拷街窥汉氯怕第2章-信息论基本概念3第2章-信息论基本概念3 则信源的时间熵则信源的时间熵 H Ht t为：为： 若各符号时间长度相同，均为若各符号时间长度相同，均为b(s)b(s)，则可直接得，则可直接得 又若信源每秒平均发出又若信源每秒平均发出 n n个符号，有个符号，有 此时，信源熵此时，信源熵 H Ht t为：为：bit/sbit/s符号符号/sbit/sbit/
33、s丹本荡奶油娄录览计姓掠框与昏怖灼抨累朝陛开祸鸭椽砒支赛于刹晾枣烙第2章-信息论基本概念3第2章-信息论基本概念3 发出符号序列消息的离散无记忆信源的时间熵发出符号序列消息的离散无记忆信源的时间熵 对对K K重符号序列的离散无记忆信源的信源熵为：重符号序列的离散无记忆信源的信源熵为： H(X H(XK K) ) KH(X) bit/ KH(X) bit/符号序列符号序列 K K重符号序列消息的平均长度为信源各符号平均长度的重符号序列消息的平均长度为信源各符号平均长度的K K倍，即倍，即 这种信源的时间熵这种信源的时间熵 H Ht t为：为： 可见，它在数值上与上面一种信源的时间熵相同可见，它在
34、数值上与上面一种信源的时间熵相同s/s/符号序列符号序列 bit/sbit/s氓泥异拱警睹雇必顺宫旷姓禹昨外娃绥离问瑰穗颂醒颈讹输幕蒂裹夕锌拎第2章-信息论基本概念3第2章-信息论基本概念3 若该信源每秒内平均发出若该信源每秒内平均发出n n个个K K重符号序列消息，则有：重符号序列消息，则有： 此时此时 HtHt为：为： 发出符号序列消息的离散有记忆信源的时间熵发出符号序列消息的离散有记忆信源的时间熵 计算方法与发出符号序列无记忆信源的时间熵一致，但计算方法与发出符号序列无记忆信源的时间熵一致，但 H(XH(XK K) ) KH(X) KH(X) 同样若信源在每秒内平均发出同样若信源在每秒内
35、平均发出n n个个K K重符号序列消息，有重符号序列消息，有 符号序列符号序列/s/sbit/sbit/sbit/sbit/s 符号序列符号序列/s/sbit/s佬讼卜迅中临咐团蚂熙薄登软旗时月劲苯羊戴捌微言况古洽朴汕竞痈耍请第2章-信息论基本概念3第2章-信息论基本概念35.信源的冗余度信源的冗余度 信源熵信源熵 表示信源输出每一个符号所携带的信息量。表示信源输出每一个符号所携带的信息量。 对于一个具体信源，它所具有的总信息量是一定的对于一个具体信源，它所具有的总信息量是一定的 信息熵越大（每个信源符号所承载的信息量越大）信息熵越大（每个信源符号所承载的信息量越大） 输出全部信源信息所需传送
36、的符号就越少输出全部信源信息所需传送的符号就越少 通信效率越高通信效率越高 这是我们研究信息熵的目的这是我们研究信息熵的目的 迁共皇咆损虞含匹垒坪囚项寇罩竹裹宣黎即入选戒绳陡田绚戮搞蝗羞凝蕊第2章-信息论基本概念3第2章-信息论基本概念3离散无记忆信源：离散无记忆信源： 信源符号间彼此无依赖、等概率分布，信源熵最大信源符号间彼此无依赖、等概率分布，信源熵最大（最大熵定理最大熵定理） H Hmaxmax ，携带信息的效率最高。，携带信息的效率最高。离散有记忆信源：离散有记忆信源： 信源输出符号间彼此依赖、相关，信源熵减小（条件信源输出符号间彼此依赖、相关，信源熵减小（条件熵无条件熵），输出符号间
37、相关长度越长，信源熵熵无条件熵），输出符号间相关长度越长，信源熵越小。越小。 所有有记忆信源、非等概率离散无记忆信源熵所有有记忆信源、非等概率离散无记忆信源熵 H Hmaxmax 联熟沥劲吨旷雕侣直沁艳新猫蹿哑涵钉纯烙罚滨泥域冰蔓减愉殃痪矫澡惰第2章-信息论基本概念3第2章-信息论基本概念3信源的冗余度信源的冗余度R R 1 1减去熵的相对率。减去熵的相对率。 熵的相对率熵的相对率 信源的实际信息熵与具有信源的实际信息熵与具有同样符号集的最大熵的比值。同样符号集的最大熵的比值。 几惟彤帐爸渗董纶北掉裁荷防鲍胳春玩据代房绑咏橱券毅芥然所捉忧达钩第2章-信息论基本概念3第2章-信息论基本概念3【注
38、】【注】u 信源符号间依赖关系越大，信源冗余度越大。信源符号间依赖关系越大，信源冗余度越大。u 信息论研究目的提高信息传输的信息论研究目的提高信息传输的有效性、可靠性、保有效性、可靠性、保密性密性。u 从提高信源输出有效性的观点出发，希望从提高信源输出有效性的观点出发，希望减少或去掉减少或去掉冗余度冗余度。 旅溉雾末钻页满交腆合妹适比孰碴覆赦唁坛骏阜侮老陇鬃潭擎酞嚏苛点背第2章-信息论基本概念3第2章-信息论基本概念3u 冗余度大的信源冗余度大的信源具有较强的抗干扰能力具有较强的抗干扰能力，当干扰使，当干扰使信息在传输过程中出现错误时，可从它的上下关联中信息在传输过程中出现错误时，可从它的上下
39、关联中纠正错误，因此从提高信息传输可靠性观点出发，总纠正错误，因此从提高信息传输可靠性观点出发，总是希望是希望增加信源冗余度增加信源冗余度。u 信源编码就是通过信源编码就是通过减少或消除信源冗余度减少或消除信源冗余度来提高通来提高通信的传输效率，即提高通信的信的传输效率，即提高通信的有效性有效性。u 信道编码则是通过信道编码则是通过增加信源的冗余度增加信源的冗余度来提高通信的来提高通信的抗干扰能力，即提高通信的抗干扰能力，即提高通信的可靠性可靠性。柔崎窜蒲么环闰痹舟惺除撒租做啸酉刚蜂浙月辈兔峦灭填恳载篡齿吓少松第2章-信息论基本概念3第2章-信息论基本概念3连续信源的熵连续信源的熵 对对连连续
40、续信信源源的的分分析析，也也可可以以类类似似于于离离散散信信源源从从单单个个连连续续消消息息（随随机机变变量量）开开始始，再再推推广广至至连连续续消消息息序序列列。对对于于单单个个连连续续随随机机变变量量可可采采用用概概率率密密度度来来描描述述：对对连连续续随随机机序序列列可可采采用用相相应应的的序序列列概概率率密密度度来来描描述述；而而对对于于连连续续的的随随机机过过程程一一般般也也可可以以按按照照采采样样定定理理分分解解为连续随机序列来描述。为连续随机序列来描述。 掘削剂裂几喘坡宅已封症澎晾熬蜡袄胯趁崇咎奎越机耙朗涅汲妨烬名江串第2章-信息论基本概念3第2章-信息论基本概念3连连续续随随机
41、机变变量量可可以以看看作作是是离离散散随随机机变变量量的的极极限限，故故可可采采用用离离散随机变量来逼近。散随机变量来逼近。 首先类比概率首先类比概率p pi i与概率密度与概率密度p(x)p(x)： （一）单个连续随机变量信源熵（一）单个连续随机变量信源熵 硅戊赫鲍朵箭捶奈叫狱扫北晴暴号蹈诣灿反厚壳呜映供摸深弓寞妥感您验第2章-信息论基本概念3第2章-信息论基本概念3令令xa,b，且且ab,现现将将它它均均匀匀的的划划分分为为n份份，每每份份宽宽度度为为 ，则，则x处于第处于第i个区间的概率为个区间的概率为pi，则则pi= (中值定理中值定理)即即当当p(x)为为x的的连连续续函函数数时时，
42、由由中中值值定定理理，必必存存在在一一个个xi值值，使使上式成立。上式成立。再按照离散信源的信息熵的定义有：再按照离散信源的信息熵的定义有： 铅戳饵画攻欠际慌涅群尉板忽羡卒缴啤邦臭孕滔浅坪医活自阶昂迸澈哆低第2章-信息论基本概念3第2章-信息论基本概念3 于于是是我我们们定定义义前前一一项项取取有有限限值值的的项项为为连连续续信信源源的的信信息息熵熵，并并记记为为H Hc c( (X X).).也叫相对熵也叫相对熵即：即：Hc(X)= 也可记为：也可记为：Hc(X)= 其中其中R1 表示实轴。表示实轴。 坍私撂价蔼坪填二残桨午除租厢修渐粳们窃翌拿品版贫釜高键他测尖僳忻第2章-信息论基本概念3第
43、2章-信息论基本概念3(二二)两个连续随机变量信源熵两个连续随机变量信源熵 联合熵联合熵条件熵条件熵蜗再借垦尚是佛指氛裸吝湍酪觉拱遏懦靡喧铀题表郊未挺默冬冤卧讽老煌第2章-信息论基本概念3第2章-信息论基本概念3几种特殊连续信源的熵和最大熵定理几种特殊连续信源的熵和最大熵定理一、均匀分布信源：一、均匀分布信源： Hc(X)= log2(b-a) 结论结论 熵值只与均匀分布间隔熵值只与均匀分布间隔(b-a)有关，有关， 若若 b-a 1，则，则Hc(X)为负为负鹃隐旧炼盛扮肾杯萎侗桑腿号魏唯背乐抡篱呀燃庐幢埋膜埠姜锌笔厅税伦第2章-信息论基本概念3第2章-信息论基本概念3二、二、 高斯分布信源高
44、斯分布信源 结论结论 熵值熵值 只与方差有关，与只与方差有关，与m无关。无关。朱涧挛烃或坡秦吉挣五遍揖同凝斌人羊毒雅竣溅姿铺嗡帝标垮拼闸嚼宙涨第2章-信息论基本概念3第2章-信息论基本概念3三、指数分布信源三、指数分布信源 m数学期望数学期望 结论结论 熵值只与数学期望熵值只与数学期望m有关有关供陪笼涸溺傈吓位鲸讶佯勃见匡钵藏凑固榨隘疚惠阶涝亥拄右破鄙刻热蒙第2章-信息论基本概念3第2章-信息论基本概念3四、最大熵定理四、最大熵定理1. 限峰值功率的最大熵定理限峰值功率的最大熵定理 均匀分布的连续信源具最大熵均匀分布的连续信源具最大熵2. 限平均功率的最大熵定理限平均功率的最大熵定理 高斯分布的连续信源具最大熵高斯分布的连续信源具最大熵3. 限均值的最大熵定理限均值的最大熵定理 指数分布的连续信源具最大熵指数分布的连续信源具最大熵结论结论 连续信源的最大熵因条件而异连续信源的最大熵因条件而异 离散信源的最大熵出现于等概之时离散信源的最大熵出现于等概之时添曳督娇测猜迫五骑洽窗素纂佬收批梆昭捅窥誊殉碌眼兽澡淹接垂箍茵氏第2章-信息论基本概念3第2章-信息论基本概念3
