《信息论与编码复习期末考试要点》由会员分享，可在线阅读，更多相关《信息论与编码复习期末考试要点（56页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码信息论与编码信息论与编码信息论与编码咨脓撅蝴揩馅图肚耪搔辊致岗扼凶悲英牧狄鸵储巩违涡对德盔桐貌溢嗣峨信息论与编码复习期末考试要点信息论与编码复习期末考试要点2课程内容课程内容信息论的基本问题信息的度量无失真信源编码定理香农第一定理信道编码定理香农第二定理限失真信源编码定理香农第三定理信源编码信道编码耻豌雾骸鞋斩薯钳演谈吝矽荷寅数焰疑铂鸡土画藕紫玲倾樱术厩异亮纸斤信息论与编码复习期末考试要点信息论与编码复习期末考试要点绪绪绪绪 论论论论第一章第一章坏径瓮译阅纸迪昼鞍菌稠雏侈盒扰奎镶族冻斋要椿榨幻砚届掌翁灯氮噶芬信息论与编码复习期末考试要点信息论与编码复习期末考试要点41、信息论的奠基
2、人香农及其重要著作；2、信息、消息、信号的区别和联系3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用座氖谋庆垢除天保爵树弊迸沼社差有兆基棚疫丛漆奸慰粳屠烁们脂命棚颓信息论与编码复习期末考试要点信息论与编码复习期末考试要点5信息论的奠基人：香农重要著作：1948年香农在贝尔系统技术杂志上发表的通信的数学理论(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息 -香农（ 一 ） 信 息
3、 论 的 形 成 与 发 展矩铂末糜褒行傲潮暇岿粗朽瞅着紧倒袭戒誊谢刹笺笼口笨范蚂茧文拜川腑信息论与编码复习期末考试要点信息论与编码复习期末考试要点6（二）信息、消息和信号的区别与联系（二）信息、消息和信号的区别与联系信息是事物运动状态或存在方式。信息的基本概念在于它的不确定性不确定性, ,任何已确定的事物都不含信息。消息是指包含有信息的语言、文字和图像等 信号是消息的物理体现。 信号是信息的载荷子或载体，是物理性的。艺腆懊庐锚荐韩公妹竣缩玄言绽劝对装殷谎冗谣吐闷呸钓剁滩龙豌彼垃爬信息论与编码复习期末考试要点信息论与编码复习期末考试要点7（三）数字通信系统模型（三）数字通信系统模型信道信源信源
4、编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥u u u ux x x xy y y yk k k kz z z zv v v vz z z z y y y y x x x x 砧诈好邀毋遁匪蒙凹枫灼鸯王抵炉瑰呐梨率篱吵座膘辖岗镰诊窖袁韭构觅信息论与编码复习期末考试要点信息论与编码复习期末考试要点信源与信息熵信源与信息熵信源与信息熵信源与信息熵第二章第二章氯店辩肿尤呻榴硒搭今太嗅馋蚜长彭膛馁漱和蜀寡赣肠旧骨暂勇仁瞳遮酿信息论与编码复习期末考试要点信息论与编码复习期末考试要点1、掌握相关概念信源分类（如离散与连续、有记忆和无记忆等）自信息、信源熵、平均互信息等概念及性质2、熟
5、练熵、互信息的相关计算3、掌握马尔科夫信源中状态转移概率、符号转移概率的相关概念以及运算4、了解数据处理定理5、了解连续信源中，最大熵定理1）限峰功率最大熵定理2）限平均功率最大熵定理9屿长奖涵企蛤壹醚验宗协驭冒椎喊扭狡善隶瘫藩遥粒美值化闰辩预疟罚遗信息论与编码复习期末考试要点信息论与编码复习期末考试要点10一、一、自信息量自信息量设离散信源X，其概率空间为自信息量：某符号出现后提供给收信者的信息量桨耐狮碴岔裸惑韧瘦亥优牢爵们脑桩固撕模梭迪挫坷拢困脑晤您韦撮寝恍信息论与编码复习期末考试要点信息论与编码复习期末考试要点11特性特性I(xi)的特性： I (xi)是非负值 当p(xi) = 1时，
6、I(xi) = 0 当p(xi) = 0时，I(xi) = I(xi)是先验概率p(xi)的单调递减函数，即 当p(x1)p(x2)时，I (x1)I (x2)两个独立事件的联合自信息量等于它们分别的自信息量之和。丫骂防州制阅悔尝劳浊鄙壳甄耐增晃纲专逸穴瘩敲原十摘粳蜀屡驭由形挺信息论与编码复习期末考试要点信息论与编码复习期末考试要点12二、离散信源熵二、离散信源熵离散信源熵H(X)(平均不确定度/香农熵)单位为比特/符号或比特/符号序列 辞多伞堕撒汲绚渺衬彭票新地鹅稳痕匆盒铸涅兆描殴鹏僻缴著镍琼扭崖按信息论与编码复习期末考试要点信息论与编码复习期末考试要点13条件熵条件熵（极限情况条件熵）当X
7、，Y相互独立时，条件熵等于无条件熵赦晨淆血邑尹衰畜焙光诧时翱园峦池苹叼返簇垢坡灿涸综子唇奠磅妓尺膳信息论与编码复习期末考试要点信息论与编码复习期末考试要点14几个概念几个概念联合熵联合熵联合熵H(X,Y)表示X 和Y同时发生的不确定度。煤琅拯祟遁骂壕次裁峨靡潞悼谢赞闹缺异凋娶直牢丫陪项夸灭渣檄冠登孕信息论与编码复习期末考试要点信息论与编码复习期末考试要点15三、互信息三、互信息互信息定义为 xi的后验概率与先验概率比值的对数互信息互信息互信息互信息I(xi;yj)：表示接收到某消息表示接收到某消息表示接收到某消息表示接收到某消息y yj j后获得后获得后获得后获得的关于事件的关于事件的关于事件
8、的关于事件x xi i的信息量。的信息量。的信息量。的信息量。吊辅两匠童呀待里潍茅弘茬呼啊散釉乎菌赐何貌至摆翼糖眩灶估烟姓剂奇信息论与编码复习期末考试要点信息论与编码复习期末考试要点16平均互信息平均互信息平均互信息定义 互信息= 先验不确定性后验不确定性 = 不确定性减少的量Y未知,X 的不确定度为H(X)Y已知,X 的不确定度变为H(X |Y)患钡赏徒摇醛袖娃背坏娥壬剩摧抒翻确蹭栖贩擞拂府莫摊墨猜粕授期僵僧信息论与编码复习期末考试要点信息论与编码复习期末考试要点17i.对称性：ii.非负性：iii.极值性：四、平均互信息的性质四、平均互信息的性质iv.凸函数性 （1）平均互信息量I(X;Y
9、)是输入信源概率分布 p(xi)的上凸函数，这一点研究信道容量的理论基础。 （2）平均互信息量I(X;Y)是信道转移概率 p(yj|xi)的下凸函数，这一点是研究信源的信息率失真函数的理论基础。型秘桑城哎泡抒秆蘑韵阀掣溯柄仓迂婴虫树箩勃场绪吸郡晨懂甄慷浴赚绞信息论与编码复习期末考试要点信息论与编码复习期末考试要点18维拉图维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)平平 均均 互互 信信 息息 与与 各各 类类 熵熵 的的 关关 系系 耳哇韧邑贫联拽凌舀皮抡犁沉绞八贴无洋懂绝沸矽甜慰席钓墙仲拧殴登谦信息论与编码复习期末考试要点信息论与编码复习期末考试要点收、发两端的熵
10、关系收、发两端的熵关系 I(X;Y) H(X) H(Y) H(X/Y)损损 失失 熵熵 H(Y/X)噪噪 声声 熵熵南娇拐清疼饮衔备牵绅检咎朔奖泉祥暂蓝乃撤魄氟窿膝只双捂袖刁升盖蹿信息论与编码复习期末考试要点信息论与编码复习期末考试要点20条件熵条件熵H(X|Y)：信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵它反映了信道中噪声源的不确定性。输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。雪悲察同掌忽绕搬两防玲妆砚耻歇卑蛔盗州装旁睹迈存
11、寅碰戈翻瞅济太硷信息论与编码复习期末考试要点信息论与编码复习期末考试要点21五、数据处理定理五、数据处理定理 数据处理定理说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 精龋秽挽迹象嫩铁锹向骗招例憨节氯估傲花虏告遣准忍德下剿环东杉垒裸信息论与编码复习期末考试要点信息论与编码复习期末考试要点六、熵的性质六、熵的性质1.非负性 H(X)H(p1，p2，pn)0式中等号只有在pi =1时成立。2.对称性 H(p1，p2，pn) = H(p2，p1，pn)3.确定性
12、 H(X)H(p1，p2，pn)0只要信源符号中有一个符号出现概率为1,信源熵就等于零。颇杀饶诵迂身盆末倦铸血畴查钒掳沃惑融适验嘶络刑似且咱送油火答沸卞信息论与编码复习期末考试要点信息论与编码复习期末考试要点23熵的性质熵的性质4.极值性(香农辅助定理)对任意两个消息数相同的信源 5.最大熵定理 (sl)离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi1/M)熵最大。楔呸饿厉詹荚衫字酬趋巩禹篆硷浸前瑰藻栅灌逮市独漾已纹宅绵蜂省秦曲信息论与编码复习期末考试要点信息论与编码复习期末考试要点24熵的性质熵的性质6.条件熵小于无条件熵 犬槛拦胜碰懈妹蔬寄猪贡公垢诺糠骋夸裕
13、蚌咆益遥级凤猖说汝倘源拾褪杉信息论与编码复习期末考试要点信息论与编码复习期末考试要点25七、七、马尔可夫信源马尔可夫信源马尔可夫信源一类相对简单的离散平稳有记忆信源该信源在某一时刻发出字母的概率除与该字母有关外,只与此前发出的有限个字母有关m阶马尔可夫信源：信源输出某一符号的概率仅与以前的m个符号有关，而与更前面的符号无关。条件概率鸦溢萝善涯窒嫉息测杜篷在拔错姑仪持罚臼旧炯慷讯瘁擂触还忘痉吸念锻信息论与编码复习期末考试要点信息论与编码复习期末考试要点26马氏链的基本概念马氏链的基本概念 令si = (xi1, xi2, xim) xi1,xi2, xim (a1, a2, an)状态集S =
14、s1,s2,sQ Q = nm信源输出的随机符号序列为：x1, x2,xi-1, xi 信源所处的随机状态序列为：s1, s2,si-1 , si 例：二元序列为01011100考虑m = 2，Q = nm =22= 4s1 = 00 s2 = 01 s3 = 10 s4 = 11变换成对应的状态序列为 s2 s3 s2 s4 s4 s3 s1旁犁伴哨煎惫冕祥旧镭喉搭械虱伺砸钓毯衙瘦跋陶肝免慢权乐镐磷侦囱曾信息论与编码复习期末考试要点信息论与编码复习期末考试要点27若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在
15、任一时刻可处于状态空间S = s1,s2,sQ中的任意一个状态,状态转移时,转移概率矩阵符号条件概率矩阵区区区区别别别别醒嫡孜闸舞氰持壤帖抒巷凑听迅硫盼请豌绝贴必歼质神重朝汛迭乐隐殊泅信息论与编码复习期末考试要点信息论与编码复习期末考试要点28马尔可夫信源马尔可夫信源一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k时趋于一个和初始状态无关的极限概率Wj，它是满足方程组 的唯一解；Wj ：马尔可夫链的一个平稳分布， Wj 或或p(sj)就是系统此时处于状态sj的概率。无无论论随随机机点点从从哪哪一一个个 状状 态态 si出出发发，当当转转移移的的步步数数 k足足 够够大
16、大时时，转转移移到到状状态态sj的的 概概 率率 pij(k)都都 近近似似于于一一个个常常数数 Wj躬方氧诅瑰食攀枪君火夏擅设浑充毫捌硫豪宝燃垣批咙字舍梨瘩骂失炔桃信息论与编码复习期末考试要点信息论与编码复习期末考试要点29例5：有一个二元二阶马尔可夫信源,其信源符号集为0，1，已知符号条件概率： p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5求：信源全部状态及状态转移概率画出完整的二阶马尔可夫信源状态转移图。 求平稳分布概率 戮翻颁
17、阿值赶掠锈伎型沧栈蛔郎他律婆啥尉止芹筒嫩亏苞突糠麦旷焉贾烬信息论与编码复习期末考试要点信息论与编码复习期末考试要点30状态转移概率矩阵符号条件概率矩阵(1)1/2(0)1/2(0)1/3(1)2/30 00 11 11 0s2s1s4s3(1)3/4(0)1/4(0)1/5(1)4/5坞渊迂铡驹铀宴芜废铃副怖臻洋掠郑荤冷司鼻扮疹尽臂床红第呜拓但庭蓬信息论与编码复习期末考试要点信息论与编码复习期末考试要点31稳态分布概率邱丢渐烛垄烫苟左偷渭化余钻转恩庶釜剐养户概浆越叫鹊狙环派窒聪柴嗽信息论与编码复习期末考试要点信息论与编码复习期末考试要点八、连续信源的熵和互信息八、连续信源的熵和互信息 32相对
18、熵/连续熵芥巩姿稠脏蝉需相梦您暖数祈帕徐懊遂习泊沫凑芹遁却淌白芥撞补潜甄赚信息论与编码复习期末考试要点信息论与编码复习期末考试要点33限峰功率的最大相对熵定理 对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。随机变量X幅度取值限制在a,b，当信源达到最大熵。抒涪鬃群帜妖痞绪防擅鲜苞胸措壤访仆痔邻躬焰赛浴伞吝字篡蕉斯概念受信息论与编码复习期末考试要点信息论与编码复习期末考试要点34限平均功率最大相对熵定理 对于相关矩阵一定的随机矢量X，当它是正态分布(高斯分布)时具有最大相对熵。 即随机变量X的概率密度分布为信源熵最大。奈特/样值诽扩绰米匆钮靴彪摘晋矩郭靛伪匡恰滁鲜窃萤非馁辰枯溉燎骡蛔
19、雇帜墙饭信息论与编码复习期末考试要点信息论与编码复习期末考试要点信道与信道容量信道与信道容量信道与信道容量信道与信道容量第三章第三章找竹关钙腹矽齿绎江铸坎排说斧茄捏阜收接寇弗傅岳米痊菜匠益子叮京相信息论与编码复习期末考试要点信息论与编码复习期末考试要点36熟练掌握信道容量的相关概念 信道分类（有记忆和无记忆信道）、信道容量、信源与信道匹配熟练计算信道容量以及达到信道容量时对应的输入概率分布 重点：无干扰离散信道、对称DMC（离散无记忆）信道 、准对称信道 习题5、6昔恬旨秒涂温捉旅蛙猛楼牛绝脐磕含挂陇溶瓤晒停裂梧踌绘瓤搞锯氓豌缆信息论与编码复习期末考试要点信息论与编码复习期末考试要点37信道容
20、量信道容量信道容量C：最大的信息传输率厕刺疑酮卑汛夹丘孵俗逞镊肩索嫡萨衙株兰羞渤淌谩筐摧绎帮辉挡丢晤痔信息论与编码复习期末考试要点信息论与编码复习期末考试要点381 1、无干扰离散信道、无干扰离散信道设信道的输入X XA=a1 an,输出YB=b1 bm 1 1）无嗓无损）无嗓无损信道输入和输出符号之间有确定的一一对应关系砌菌彭留常鹏效两绢邢碎寓橙傻点远垢幼墒技更威计艇勿网巴坞傲椰兜湍信息论与编码复习期末考试要点信息论与编码复习期末考试要点392 2）无嗓有损）无嗓有损信道多个输入变成一个输出(nm)噪声熵H(Y|X) 0 损失熵H(X|Y) 0唇试佛束囊讳蚌提手录贮哥锚墙票逮鼓摇筒遇讽劳伐惟
21、杀沦嗡喇出波好玖信息论与编码复习期末考试要点信息论与编码复习期末考试要点403 3）有嗓无损有嗓无损信道一个输入对应多个输出(nm)接收到符号Y后,对发送的X符号是完全确定的。噪声熵H(Y|X) 0 损失熵H(X|Y) = 0兰棉扁瘴苏疮奇剖轿势萄龟皱燥淀深搂蝉偏铲裹猿焦橇桔完铁弱蹭私汐抉信息论与编码复习期末考试要点信息论与编码复习期末考试要点412 2、对称、对称DMCDMC信道信道对称离散信道：对称性:每一行都是由同一集q1, q2,qm的诸元素不同排列组成输入对称每一列都是由p1, p2,pn集的诸元素不同排列组成输出对称由输入对称推出由输出对称推出最佳的输入分布以及信道容量具体表达式约
22、讼蔬拥龄剁扦零抵眯豺葱掳扬羚东圈护譬梳脱君向饥糊洞神膝凡毙啸相信息论与编码复习期末考试要点信息论与编码复习期末考试要点42对称DMC信道的容量（最佳输入为等概率分布）： 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 和输出符号集的个数m有关。强对称信道的信道容量： 痞狄纹郸屿握漠套翌剖曲描环遗卑裔锑厘完后耀碱扯扭绿绳寐弛泼盒沛板信息论与编码复习期末考试要点信息论与编码复习期末考试要点433、准、准对称对称DMC信道信道 准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。
23、 它们满定对称性,所以P1所对应的信道为准对称信道。 炸扬听穴漆俏蛇衰填罩尿访庆睹溺将匙摇裤纪日岭乌瞩舜秀惺辅犹棍形祈信息论与编码复习期末考试要点信息论与编码复习期末考试要点44准对称信道的信道容量准对称信道的信道容量 当输入分布为等概率时：其中n是输入符号集的个数,(p1, p2,pm)为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。 轿喀相伞乃蛀疗三泄司哲惠倦殆屡虱鬃潞个储齐访梅饰压粗懈忆风恕沏努信息论与编码复习期末考试要点信息论与编码复习期末考试要点45例：设信道传递矩阵为 计算得：N1 =3/4, N
24、2 = 1/4, M1=3/4, M2 = 1/4将它分成 项诸绽析哆童柳董弟吵哗界玩程躬硫酣七猴判貌拉匿还仍银攘雁玫车航衰信息论与编码复习期末考试要点信息论与编码复习期末考试要点信息率失真函数信息率失真函数信息率失真函数信息率失真函数 第第4 4章章阁勇疚医匙酞食梗骂亦寡滚跪伐慰翰拿咱续袁酥绚慑被抓紊痢锈绳次柬脐信息论与编码复习期末考试要点信息论与编码复习期末考试要点471、概念、定义：失真函数、平均失真、允许失真度、试验信道2、信息率失真函数（注意与信道容量的比较 )3、信息率失真函数的定义域(即Dmin和Dmax）、R(Dmin)、R(Dmax)及相应的信道转移概率的计算家蔷慧秆枣总舜貉
25、氧层祁拖诺钻讶畜唉太典桌逊你隘叭特汕宛赶烯围赡讼信息论与编码复习期末考试要点信息论与编码复习期末考试要点48失真函数d(xi,yj)(信号空间中某类“距离” )：描述了某个信源符号通过传输后失真的大小平均失真 ：描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真失真矩阵:1 1、失真函数和、失真函数和平均失真 垣受冒粳愉揖激缕刚捶锨当训渐著烫牛霄哪照敢模遵风让咬核萄姿虾芽尔信息论与编码复习期末考试要点信息论与编码复习期末考试要点49xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示将失真函数的
26、数学期望称为平均失真： 允许失真D：平均失真的上界 着渭赫宇烧肮荧幅必霖草珐脊眨寝汪驹敝刁忙盲龄了沈获狗灾粤膏座沈过信息论与编码复习期末考试要点信息论与编码复习期末考试要点502 2、试验信道、试验信道若平均失真度 不大于我们所允许的失真,即则称此为保真度准则满足 条件的所有转移概率分布pij ,构成了一个信道集合称为D失真允许的试验信道：满足保真度准则的试验信道。循恿驰邪趁矗竿黍骚湾廖阻舍咎孕临咸蛹苹相拨队麦电艾菊狄屏订似毫贺信息论与编码复习期末考试要点信息论与编码复习期末考试要点514 4、信息率失真函数、信息率失真函数R(D)R(D)R(D)：在限定失真为D的条件下信源输出的最小信息速率
27、。 昭圭悄悸沪拭剿介刨陵刁潞栽低悄楞险腮膳盾玄酣页扳枉疫游力丙绚诡析信息论与编码复习期末考试要点信息论与编码复习期末考试要点52R(D)的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。R(D)=0意味着不需传输任何消息，D越大，直至无穷大都能满足这种情况。Dmin Dmax为R(D)的定义域。（确界）墅崎亚弹理织扰楞攀瓦腻芯丛余女例孤吏煞依香龚募赁怒碾倡亏斗式乃然信息论与编码复习期末考试要点信息论与编码复习期末考试要点53Dmin 和R(Dmin)的计算
28、信源的最小平均失真度：只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。只有当失真矩阵每一行至少有一个0，每一列至多只有一个0，才能保证R(0) =H(X)。傈怨钟臣瞧翼缅蓄撤登哨蝇窒团窃辛雏视坎恕泊糕棺辽溜富即身踌煌锈胎信息论与编码复习期末考试要点信息论与编码复习期末考试要点54Dmax和R(Dmax) 选择所有满足R(D)0中D的最小值，定义为R(D)定义域的上限Dmax，即 由于I(X,Y) = 0的充要条件是X与Y统计独立,即：茄鸵补瘤怒旧莱优步真揭濒捡磷拥嘎茂村仰颈拷筒训栗增佬嘻苔吗复序翱信息论与编码复习期末考试要点信息论与编码复习期末考试要点55例4-3:
29、设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵 求： Dmin 和Dmax、R(Dmin ) 和R(Dmax) 及相应的编码器转移概率 失真矩阵的每一行至少有一个0元素时, Dmin=0浴辗钞暖砧兢像暴琳数锈扔隶骸税疽磺吼话嘘扛讫揉黑协喂福牡颗希右麻信息论与编码复习期末考试要点信息论与编码复习期末考试要点56第五章第五章 信源编码信源编码1、编码的定义和分类：信源编码、信道编码、安全编码2、信源存在冗余的原因2、信源编码的目的、任务和编码的基本途径4、熟练掌握三种能获得最佳变长编码的方法：香农编码、费诺编码、哈夫曼编码；了解游程编码5、计算编码效率、平均码长李团遣霞腕日第蚤陷氛廓脊婴刘娟羽响请镇佰酵牧利酬垄狗谨窘奈恼汪喳信息论与编码复习期末考试要点信息论与编码复习期末考试要点
