《老师整理的信息论知识点》由会员分享，可在线阅读，更多相关《老师整理的信息论知识点（14页珍藏版）》请在金锄头文库上搜索。
1、Chp02 知识点自信息量：人 I（x ）二log p（x ）ii2）对数采用的底不同，自信息量的单位不同。2比特（bit）、e奈特（nat）、10哈特（Hart）3）物理意义：事件x发生以前，表示事件x发生的不确定性ii的大小；事件 x 发生以后，表示事件 x 所含有或所能提供的信息ii量。平均自信息量（信息熵）：1）H（x） = EI（x ） = F p（x ）log p（x ）i i ii=12）对数采用的底不同，平均自信息量的单位不同。2 比特/符号、 e 奈特/符号、 10 哈特/符号。3）物理意义：对信源的整体的不确定性的统计描述。表示信源输出前，信源的平均不确定性；信源输出后每个
2、消 息或符号所提供的平均信息量。4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。互信息：p( x | y )I (x ; y ) = I (x ) I (x I y ) = logi j i i jp( x )i2）含义：已知事件y后所消除的关于事件x的不确定性，对ji信息的传递起到了定量表示。平均互信息：1）定义2）性质联合熵和条件熵： 各类熵之间的关系： 数据处理定理：Chp03 知识点： 依据不同标准信源的分类 离散单符号信源：-X -aaa1）概率空间表示：Pp (a ) p (a )p (a )1-12 r 0 p(a )8 NN-8 N3)离散
3、有记忆信源马尔可夫信源时间和状态都是离散的马尔可夫过程称为马尔可夫链pg1)用分布律描述2) 转移概率：即条件概率比(川加+旳=恥”3) 转移概率矩阵： 用=丨號=q 兀=%、盍？ = -X畑=)=尸卄,=dj丨蛊m =殆p ( n) 表示 n 步转移概率矩阵。且 ijp (n) = (p)n，会写出马氏链的一步转移概率矩阵，会画状态转移 ij ij图，能够求出n步转移概率矩阵。4)求解马氏信源的遍历性，即找一正整数m,使m步转移概率 矩阵p (m)中无零元。ij求解马氏遍历信源的信息熵步骤：(1)根据题意画出状态转移图，判断出是平稳遍历的马尔 可夫信源；2) 根据状态转移图写出一步转移概率矩
4、阵，计算信源的c、W 二 WP极限分布W二W WW 即是求解方程组：J12,q|Z W = 1ii=13) 根据一步转移概率矩阵和极限概率 W 计算信源的信息熵：极限熵 H 等于条件熵 Hm+1 (m 阶马尔可夫信源的熵率)8m+1。信源的相关性和剩余度:八1 -n=1 - H0用来衡量信源输出的符号序列中各符号之间的依赖程度。当剩余度=0时，信源的熵二极大熵H,表明信源符号之间:(1)统计独立无记忆;(2)各符号等概分布。连续信源：1)微分熵：i.定义：ii.物理意义：连续信源的联合熵和条件熵3)几种特殊连续信源的熵：a)均匀分布的连续信源的熵：b)H (X) =log (b-a)c2高斯分
5、布的连续信源的熵：H (X)【2 概率密度函数c 2 2(x - m )226c)P (x) =1 e2m 2指数分布的连续信源的熵：H (X) = log mec2概率密度函数：1 -】p (x) = e m Jm4)最大连续熵定理a） 限峰值功率的最大熵定理（输出幅值受限）：均匀分布b） 限平均功率的最大熵定理（输出平均功率受限）：高斯分布（5） 熵功率及连续信源的剩余度Chp04 知识点：一、 一些基本概念： 1什么是信道？信道的作用，研究信道的目的。 2一般信道的数学模型，信道的分类(根据输入输出随即信道的特点，输入输出随机变量个 数的多少，输入输出个数，有无干扰，有无记忆，信道的统计
6、特性进行不同的分类)3.前向概率p(yj/xi)、后向概率/后验概率p(xi /yj)、先验概率p(xi)。4 几个熵的含义： H(X)-表示信源的不确定性； H(XIY)-信道疑义度，表示如果有干扰的存在，接收端收到Y后对信源仍然存在的 不确定性。也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失 H(YIX)- 噪声熵，它反映了信道中噪声源的不确定性。二、 离散信道：1. 单符号离散信道：a) 信道模型的表示：传递矩阵(有传递(条件、转移)概率p(yjIxi)组成)；b) 信道的信息传输率：R=I(X:Y)表示接收到输出符号集Y后所消除的对于信源X的不 确定性，也就是获得的关
7、于信源的信息。它是平均意义上每传送一个符号流经信道的 信息量。关于I(X:Y)的性质：I(X:Y)是信源概率分布p(xi)和信道转移概率p(yjIxi)的二元函数:p(y )二p(x)p(y /x)j i=1j I(X:Y)=工另 p(xy )logi j2i=1 j=1p(yj)p(x y ) = p(x )p(y / x )i jij i乙乙 p (x ) p (y / x )logij i2i=1 j=1p (y / x )/ ip(xi)p(yj /xi)ij ii=1那么，当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就
8、能获得不同的信息量。由平均互信息的性质已知，对于给定的信道转移 概率p(yj /xi)，I(X;Y)是输入分布p(xi)的上凸函数，因此总能找到一种概率分布p(xi)(即某一种信源)，使信道所能传送的信息率为最大。那么这个最大的信息传输率即为信道容量。c) 信道容量概念：在信道中最大的信息传输速率C = max R = max I(X;Y)(比特/信道符号) 对于给定的信道，总能找到一个最p(xi )p(xi )佳输入分布使得I(X;Y)得到极大值。d) 信道容量的含义：信道容量是完全描述信道特性的参量，信道容量是信道传送信息的 最大能力的度量，信道实际传送的信息量必然不大于信道容量。2. 几
9、种特殊离散信道的信道容量：a) 具有一一对应关系的无噪信道：n-输入符号数，m-输出符号数当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量C：C = in ax Z( A; K) = max H (Y) = in ax H (A) = 卫二 mp PG)pgJb) 具有扩展性能的无损信道：C = ill a x I X = ill ax H (A) = log2 rzc) 具有归并性能的无噪信道：C = max 7( A? 1) = max H (Y) = log2 mpgpg注意：在求信道容量时，调整的始终是输入端的概率分布 p(xi) ，尽管信道容量式子 中平均互信息I(X
10、;Y)等于输出端符号熵H(Y),但是在求极大值时调整的仍然是输入端的概 率分布p(xi)，而不能用输出端的概率分布p(yj)来代替。也就是一定能找到一种输入分布 使输出符号Y达到等概率分布。d) 行对称信道的信道容量：C = maxH(Y) - H(p, pp)p( x)1 2 se) 离散对称信道的信道容量：若一个离散对称信道具有r个输入符号，s个输出符号，则 当输入为等概分布时达到信道容量，且卜丄陀一更兀宀、”口,其中生巴咗为信道矩阵中的任一行。f) 均匀信道的信道容量为1)一刃(勿g) 准对称信道的信道容量：C = log r 工N log M H(p,p,.,p)，其中Nk2k2 k1
11、2sk =1是n个子矩阵中第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。h) 二元对称信道的信道容量：C=l-H(p)p为错误传递概率。3. 般离散信道的信道容量计算方法：已知信道的转移矩阵P,求信道容量。 两种方法：方法一：依据：I(X;Y)是输入概率分布p(xi)的上凸函数，所以极大值一定存在。 步骤：根据信道转移矩阵P的特点，用某一参数a设为输入分布p(xi)； 由p(y )=工p(x )p(y | x )得出输出分布p(yj)也是关于a的函数；j i j ii=1 将用a表示的p(xi)和p(yj)带入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y) 是关于a的函数
12、。 求I(X；Y)对a的偏导数，并令其等于0解得a即得到输入分布； 将解得的a代入I(X；Y)式中得到信道容量Co例子：见教材P65,例4.5方法二：公式法： 由二卩匕出二二0(门/A-)log2pO m 求0;1 1 由C二,求(7； 由)二严，求P(.丹)； 由心)二工心)心/ 0)、求j=l注意：在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(xi), 并确认所有的p(xi)20时，所求的C才存在。在对I(X;Y)求偏导时，仅限制工p(x ) = 1，并没有限制p(xi)20，所以求出的ii=1p(xi)有可能为负值，此时C就不存在，必须对p(xi)进行调整，再重新求解Co4.平均互信息I(X；Y)达到信道容量的充要条件：见教材P65。 5多符号离散信道及信道容量：a) 含义，数学模型：多符号离散信源x =XX -Xn在N个不同时刻分别通过单符号离散信道X P(Y/X)1 2 NY，贝y在输出端出现相应的随机序列Y =YiY2-Yn，这样形成一个新的信道称为多 符号离散信道。1 2 由于新信道相当于单符号离散信道在N个不同时刻连续运用了 N次，所以也称为单 符号离散信道X P(Y/X) Y的N次扩展。b) 离散多符号信道的平均互信息和信道容量的几个结论：结论1：离散无记忆信道的
