《信息论知识点》由会员分享，可在线阅读，更多相关《信息论知识点（8页珍藏版）》请在金锄头文库上搜索。
1、信息的主要特性：普遍性、可度量性、相对独立性、可传输性、可存储性、可共享性、时效性通信系统对信息传输的要求：有效性一一传输的每一条消息携带尽可能多的信息量或单位时间内传输尽 可能多的信息量可靠性一一信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现保密 性信源的分类:一方面分为离散信源和连续信源，另一方面分为无记忆信源和有记忆信源。消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就 越大。离散信源输出xi所包含的信息量用I (xi)来表示并将其称为xi的自信息量，xi的自信息量的定义式为：I(X ) = -log 2 p(xi )自信息量的
2、性质：I(xi)是随机量；I(xi)是非负值；I(xi)是p(xi)的单调递减函数。必然发生的事件不存在任何不确定性，故不含有任何信息量。联合自信息量：I(xi yj) = - log2 p(xi yj) 条件自信息量:I(xi/yj) = -log2 p(xi/yj )在已知yj的条件下，发生xi所带来的信息量。I(yj/xi) = -log2 p(yj/xi )在已知xi的条件下，发生yj所带来的信息量。联合自信息量与条件自信息量关系：I(xi yj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)自信息量反映的是一个随机事件出现某种结果所包含的信息量，自信息量具有随机变量的性
3、质。单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也 叫香农熵，信息熵的定义为：H(X)= EI(xi)=工 p(xi)I(xi)= 一 工 p(xi)log2 p(xi)i=1i=1信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一个离散信源信息量的度量。H(X)反映信 源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于 每接收一条消息所获得的平均信息量。信息熵H(X)的性质和定理：非负性；严格上凸性；lnxWx- 1最大信息熵定理H(X)Wlog2 n lnxWx- 1单符号
4、离散信源中各消息等概率出现时，具有最大熵；对称性H(X)=Hp(x1),p(x2),p(xn)= -p(xi)log2 p(xi)与信源的总体结构有关而不在乎个别消息的i =1概率，与消息的取值无关；确定性：H(0,1)=0；扩展性可加性H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) N维信息熵的链式法则r(xlx:.x/i = ir(xlj+nXXi)+inx,/X|Xj;极值性 H(X/Y) WH(X);H(Y/X) WH(Y)如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散 信源。如果信源每次发出的消息都是有限或可数的符号序列，而这
5、些符号都取值于同一个有限或可数的集 合，则称这种信源为多符号离散信源。N维离散平稳信源的熵率(平均符号熵)h (XX . X尸丄H (XX .X )OTj；p|sJ-l编码效率 1 ； N次扩展信源码率R=L/N (N次扩展)编码效率p(sj)的求取问题，其中 = H (xN= NH (X) = H (X) = HX) 卜 L = L = L/N = R 无失真信源编码定理：离散信源的熵为H(X)，对N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H(X)WRH(X)+ 式中，&为任意给定的小正数。扩展信源无失真编码的存在性香农第一定理熵
6、率H(X)是无失真编码的码率下界一一香农界。码率不能低于香农界，否则译码会出错H(X)是描述信源每个符号所需的最少平均比特数异前置码：异前置码的满足香农第一定理异前置码满足RMH(X)离散信源的熵为H(X)，对N次扩展信源进行异前置码编码，码率R三H(X)异前置码的渐近最优性编码效率从提高传输效率的角度，码率越接近熵率越好离散信源的熵为H(X),对N次扩展信源进行异前置码编码，对任意给定的e0，当N足够大，码率RH(X)+ 丫十5 Lm元长度为li, i=l,2,n的异前置码存在的充分必要条件是：-克拉夫特(Kraft)不等式。赫夫曼编码：将符号序列ai, i=l,2,nN按概率降序排列；为概
7、率最小的符号序列分配一个码元1, 概率次小的符号序列分配一个码元0；将概率最小的两个符号序列合并成一个新的符号序列，用两者概 率之和作为该新符号序列的概率；重复以上三个步骤，直到最后合并出一个以1为概率的符号序列，逆向 生成码字，结束编码。赫夫曼编码的特点： 1.码长取决于符号序列的概率，概率越大码长越短； 2.编码 不具有唯一性，但不同赫夫曼码的编码效率相同3.码率不超过熵率1/N bit, N越大码率越接近熵率。 费诺编码：将符号序列ai按概率降序排列；按编码进制数将概率分组，使分组概率尽可能接近或相等。 如编二进制码就分成两组，编m进制码就分成m组。给每组分配一个码元(码元分配规则相同，
8、上0下 1)；对每一分组重复步2， 3，直至概率不可再分为止，由左至右生成码字。费诺码的特点： 1.大概率符 号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的 编码效率相同3.码率不超过熵率1/N个比特，N越大码率越接近熵率。互信息在有噪信道的情况下，由于p(yj) = 2n p(xi)p(yj/xi)说明信宿接收到yj所包含的信息量除了与信 源给出的信息有关外，还与信道给出的“信息”有关。信源发出消息xi而信宿接收到消息yj,信宿消息yj 所含信源消息xi的信息量，用I(yj;xi)来表示，并将其称为xi对yj的互信息，其定义为：1(沪J叩-对宀
9、广-吨附“吨他匸砲一話:厂特别的，如果xi与yj是确定关系，即 p(yj/xi)=1，相当于无噪信道，则 I (yj;xi)=I(yj)=I(xi);如果 xi 与 yj 相互独立，即 p(yj/xi)=p(yj)， 相当于信道中断，则I (yj;xi)=0。互信息的性质：I(yj;xi)是随机量；I(yj;xi)可为正值也可为负值; I(yj;xi)具有对称性 I(yj;xi)=I(xi;yj)。I(xi;yj)称为 yj 对 xi 的互信息,I(xi;yj)=I(xi)-I(xi/yj).消息xi与消息对yjzk之间的互信息定义为：卩八给定zk条件下，xi与yj之间的互,plA.信息定义为
10、：蟹五盂T=离散信道中所有xi对yj的互信息在联合概率空间p(xi yj)的数学期望用I(Y;X)来表示并称其为X对Y的平均互信息，其定义式为：1平均互信息也称为交互熵，其单位是比特/符号(bit/symbol)。平均互信息(交互熵)的物理意义：I(X;Y) =H(Y)-H(Y/X)平均 互信息量是发送X前后关于Y的不确定度减少量，即由X获得的关于Y的平均互信息量，条件熵H(Y/X) 是信道所给出的平均“信息”量，通常称为噪声熵或信道散布度；I(X;Y)=H(X)-H(X/Y)平均互信息量是收 到Y前后关于X的不确定度减少量，即由Y获得的关于X的平均互信息量，条件熵H(X/Y)也是信道所给出
11、的平均“信息”量，通常称为损失熵，也称为信道疑义度。I(X;Y)=H(X)+H(Y)-H(XY)平均互信息量等于 通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相 关的联合熵来估计交互熵。平均互信息的性质和定理：I(Y;X)的对称性：I(Y;X)=I(X;Y)I(Y;X)的非负性：H(Y/X)WH(Y) I(Y;X) = H(Y)-H(Y/ X)三0I(Y;X)的极值性：I(Y;X)=H(Y)-H(Y / X) WH(Y) ； I(Y;X)=H(X)-H(X/ Y) WH(X)I(Y;X) 的凸函数性：当信道固定时，I(Y;X )是信源概率分布P(X
12、)的严格上凸函数；当信源固定时，I(Y;X)是信道 转移概率分布P(Y/X)的严格下凸函数。数据处理定理l(X;Z)WI(X;Y) I(X;Z)WI(Y;Z)I(X;Z)=I(X;YZ) I(X;Y/Z)信道剩余度=1-R/C求配=io目外) 桌岀 Hi j = l .IBH乘出区兀)k = l,2, tn信道容量C计算：C=max R R=I (X;Y)信息传输率(信息率) mm1曲直打仏畑氏打讯 =(打吟 k = .am = n一般信道卩库出|)街)=才严 j = l.2, -Tm 妁由叭应/%)Jm = n强对称信道(均匀信道)Kil = n() = ,-, = PsJ =C= Iccn
13、 + plogp + piiig-5-n强对称信道的信息传输率可达最大，其信道容量为I对称信道(行、列可排列)当|时，对称信道的信息传输率可达最大，其信道容量为准对称信道(行可排列、列不可排列)2 p(ij = p(i；= - = pi,) = - 当i时,PiyJ=gJ . i_i J.C = -Y叫取和血li闭-叫丿=一叫Rh)吨吒朋+ *1唱5=T亠WI戶 I当苗源寻概率令布，F(O) = P(|=t时? = -0-|】1匕1 f, +(1-. -ejlusd-ej-fijj+e, luge,二进制删除信道.二平均互信息的链式法则如果记一维离散无记忆信道的信道容量为C,则其N次扩展信道的
14、信道容量为N次扩展信道的信道容量为C,进行二进制信道编码，只要信息传输率RC，当N足够大时，平均译码错误 概率PeC，无论N多大，平均译码错误概率Pe 信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。 信道容量C是信息传输率的上界一一香农界，如果信息传输率超过这个界限一定会出错。线性分组码;线性分组码通常采用前向纠错，可表示为(n,k),其中n为码字长度，k为信息位长度，校验 位长度为m=n-k。码距(汉明距离)d码重(汉明重量)w最小码距d min线性分组码(n,k)能检e个错误并能纠t个错误的充要条件是-：l-111因此，最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的，T校验矩阵mXn的矩阵H其中ri为第i个接收码字，以n列向量表示,si为第i个接收码字的误码标志11 :kXn生成矩阵G校验矩阵H与生成
