《信息论复习笔记》由会员分享，可在线阅读，更多相关《信息论复习笔记（26页珍藏版）》请在金锄头文库上搜索。
1、1. 绪论信息论回答了通信的两个最基本问题:(1) 数据压缩的极限；(2) 信道传输速率的极限； 信息、消息和信号消息：信息的献置(能被感知和理解、逵行傅遁和獴取)信息：事物遑觐犬熊或存在方式的不碓定性的描述(香的先概率：P(a.)1自信息：I(ai)=logP-i(ai)；(信息接收的不碓定性)互信息：I(ajb尸 logP-i(aj)- logPHaJb;(信息接收的多少度量)l(若信道照干凰则互信息等於自信息等於0)僵黑占：明碾的敷孥模型、定量言十算；缺黑占：有遹用簸圉；信号点;通信系统的模型通信系统的基本要求:有效、可靠、保密、认证2. 离散信源及其信息测度-离散信源的定义：翰出信息敷
2、有限、每次只翰出一彳固；-事件畿生前：事件畿生的不碓定性；事件畿生后：畤冏含有的信息量；信息熵的定义及物理意义，信息熵的基本性质定羲：自信息的敷孥期望(H(X)=-习P(ai)logP(ai)信源的富恩髓信息测度(1) 每侗消息所提供的平均信息量；(2) 信源翰出前，信源的平均不碓定性；性W：(1)呈朴卸性；(2)碓定性；(3) 非性；(4)撅展性(可拆勃；(5) 可加性；H(XY)=H(X)+H(Y)(6) 弓鱼可加性；H(XY)=H(X)+H(Y|X)(7) 遁增性；(8片亟值性；出旦冯区,p )VH(q-i,，q-i)= logq 等概率分怖信源的平均不祁性最大：稠舄最大雕散熵定理；一离
3、散无记忆信源的扩展信源一扩展信源的熵H(X) = NH(X)一离散平稳信源：联合概率分布与时间起点无关；熵：联合熵 H(X1x2)=EE P(aia,)logP(aia,)条件熵 h(x2 |Xi)=-EEp(aia，)logp(ai |a，)关系：h(xix2)=h(x1)+h(x2Ix1)熵率:离散平稳信源的极限熵=limH(XN|XiX2XN-i)马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有 关而与以前的状态及以前的输出符号都无关；马尔可夫信源的熵：Hm+1=H(Xm+i|XiX2Xm)信源剩余度熵的相对率n= H极限/H。信源剩余度(输出符号间依赖强度)Y= i-n=i-H极限
4、/H03. 离散信道及其信道容量H(X;Y)=H(X)-H(X|Y)(2) : P(bi):P(ai)P(b2):P(a2):P(b3)=P(a4) (r手s):P(b):P(a)(1)P(abj)=P(a)P(b |a)=P(b)P(a |b)；1i j ij i j离散信道的数学模型 信道Q(小) 里代卞)=1丫=(*,氐乂也,少,以F:岛敏、妇信道矩阵性sr(3) 函俞出端收到的任一b. 一定是翰入符号虏ar中的某一彳固送 入信道；J一信道疑义度的定义:收到Y彳爰封燮量X尚存在的平均不碓定 性：一H(X|Y)=EH(X|b )=EP(xy)log-iP(X|Y)j物理意义:噪馨造成的影警
5、大小；一平均互信息的定义:收到Y彳爰平均每彳固符号彪恒得的於X的信 息量(物理意羲：反映翰入翰出丽侗随檄燮量之冏的统言拌勺束 款系)：I(X;Y)= H(X)-H(X|Y)=习P(xy)P(y|x)P-i(y)照噪一一g信道中：I(X;Y)=H(X)=H(Y) = 0一信道容量的定义：信道每秒篁平均傅翰的信息量不胃舄信息傅 翰速率，最大信息傅翰率不胃舄信道容量；一信道容量的计算：无噪信道(求H(X)植值):C = logr对称信道(信道矩障的每一行或列是另一行或列的置换)：C = logs-H(P,P2,ps)强对称信道：C = logr-plog(r-)-H(p);准对称信道：C = log
6、r-H(Pi，P2,，Ps)-习NklogMk(Nk是第虹固子矩障行元素之和，Mk是第k固子矩障列元素之和)一般离散信道(封所有可能的翰入概率分怖求平均互信息的最 大值)：C =X + loge倏件：I(%;Y) = Es.=P(b. |a,)*logP(b. |a,)/P(b.) C一般离散信道当尸占，并且信道矩阵p是非奇异阵时，信道容量的计算步骤如下、Z声街阿)用=凡时码)曜H妇但)H =】2网J-1C=l喧时1. 计算”12.)X计算信道容量C3. 计算输出概率分布P饱舟4. 计算输入概率分布P(%) (AL2r)5. 如果P浏(41,2,.危)即可结束计算，第2步计算的C即为信道容量；
7、否则要重新计算.离散无记忆信道容量的迭代算法(S. Arimoto, R. E. Blahut, 1972)如下;1. 选择初始概率分布F(理)=矽)(叫)2. 计算。(并1/)和(?344洲)区f/E气阻坦血) mj。(1)=111汽珥闷.Cr(n + 1.h) = n| max3. 判断顷1+1两。(壮顷)0 如果成立，转第5步; 否则转第4步4. 计算尸(口然后转第2步M信道容量OC(时1,町，结束一数据处理定理如果乂、Y、Z组成一个马尔科夫链，则有I(X;Z)I(X;Y)I(X;Z)I(Y;Z)信息不增性原理一般的数据处理原理I(S;Z)I(S;Y)I(S;Z)I(X;Z)I(S;Z)
8、h(XiX2-XN)连续信源的差商：I均匀分布连续信源的差商：, axbp(A) b u 0 othersh(=Incrfft 心隹均匀分怖：丁ht (X) = IF 1og0 - d)p(x)=o 建110-色) 高斯信源的差商：I_女用p(x) = =e2X,)2tto-h(X) - log72zo + |-loge = logZetT2成 X) = -log2ePN隹高斯信源的差商：2A(X) = -log(2)v|C|2t=差熵的性质：(1) 可加性；(2)凸性；(3)可性；(4)勤奂性(XX2,差熵畲燮化)；(5)植值性：雕散信源的信源符号虏等概率分怖畤信源的熵最大；速信源：-富峰值
9、功率受限舄P。畤(翰出信号虏的瞬畤雷厘限制舄 土(P心/2)，此日寺信源翰出的速随檄燮量限制在a,b 座，信源具有最大熵：h=log(b-a)如果随横矢量取值受限，则各随横分量MHW立并均匀 分怖畤具有最大熵;-富信源翰出信号虏的平均功率被限定舄P,则其信号虏幅度 的概率密度分彳布舄高斯分彳布H寺，信源有最大熵：h=1/2大 log2nePNB平穗信源如果其NB序列的饷方差矩障C被限定制 NB矢量舄正太分布畤信源的熵最大。也就是N/名隹高斯信源 的熵最大，其值舄1 N2l9C +log2n6*熵功率：如果平均功率舄P的非高斯分布的信源的熵舄h再 熵也舄h的高斯信源的平均功率舄熵功率pp*速信源
10、的剩宜余度P F*熵功率不等式：企I a香农公式意义：（1）提高信噪比能增加信道容量，趟於0H寺信道容量趟 於M0; （2） 出了照金最吴通信的傅翰速率的理言耕亟限，不胃舄 香腹槌限；5. 无失真信源编码定理信源编碣-厘编剩宜余度 信道编碣-增加剩宜余度 编码：封信源的原始符号虏按一定的敷孥关麒腱行勤务 一码：（1）碣字；（2）碣元（碣符号虏）;（3）碣字畏度（碣畏）；码的分类：二元碣 碣符号虏集只有0和1丽不重元素等畏非奇巽碣一定是唯可碣;用等畏碣封信源S编碣，必硝满足qWri;燮畏碣、非奇巽碣（碣字都不相同）、奇巽碣（存在相同）、同阍布（每侗碣元的傅酬寺冏都相同）；唯一可碣:渐近等分割性才
11、蜀立等分怖的随檄序列S1S2SN，有ai=(S. S.S.)S SS刖11 12 1N 1 2 N11P-超P0)=-寻。时(气七典型序列集的性质g破+.:陪邱树出琨概率趟近1：P(Q,)if, p(G。罚接近等概率分怖：2 f. 侗敷趟近2nM固：(I 一3)2心&1、|gM| 2W(眼】典型序列：|也H展-1(叽H(S)信源编码I H(S) + E等W定理：满足r 1顷 畤，富N足豹大则可以琨/)-2e. NH(S)只要碣字傅翰的信息量大於信 源序列揣带的信息量，富恩可以琨e乎M失真编碣；I(2) 编碣后信源的信息傅函俞率：(3) 信息傅翰率大於信源的熵,才能se乎m失真编碣:JR = W
12、(S) + e_H(S)_ H($)77 Rr = T H(S)编碣效率：寸(最佳等剧乔(S) +.)信源序列畏度N娉最吴概率的蒯系：D/(SJ研/N & HS) (1-5如果碣畏满足克拉夫特不等式则一定存在具有是檬碣畏的r 元唯一可勒麻且一定存在一侗具有相同碣畏的即畤碣；一唯一可译码的判断：没有一侗彳爰分解集中包含有碣字；碣C的彳爰分解集初SJ, S0=C,，由所有满足下面丽酬条件 的S.备且成：1(1) S；(2) Si_i=CSi；(没有一侗碣字是另一侗碣字的前)变长信源编码定理碣的平均畏度(平均碣畏)L= 1=_H（S）_（$）碣率： 心） T , % 行（信道每秒篁的信息量）（平均每
13、侗碣元揣带的信息量；编喝爰信道的信息傅翰率） 一无失真变长信源（照噪信道）编码定理（香农第一定理）一个离散无记忆信源5的N次扩展信漏* =%,%,，,%,其炳 为并有码符号店冉。对信源S进行编码， 总可以找到一种编码方法，构成唯一可译码，使信源S中每 个信源符号所需的平均码长满足H（S） L. H（S）工 1 kigr N logr NIn* N log r无失真信源编码定理可以推广到平稳有记忆信源地）虹 （耳S*“）*Nlogr N Nlogr N1血显=!lim 1 7/（3&SQ= %ntr N log r 汽 J N log f如果按照心）=卜g&来编码，则码长厦）对确切的概率分布地矽的均值满足H（P）+D（P | q） 础 gH（力+ D（F |彳）十 1其中只P|g）=?/V）log 斜称为相对蜻（relative entropy）word.信源的信息熵是照失真信源厘编的桎限值意羲：在信道信息wm率r不大於信道容量c的情况下，乡忠能封 信源的输出逵行遹富的褊码，是的在照噪照揖信道上能照差鳍 地以最大信息wm率cwm信息，但要令r
