《信息论与编码基础》由会员分享，可在线阅读，更多相关《信息论与编码基础（45页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介一、香农第一定理二、香农第二定理三、香农第三定理津懦耳跌迎众枕伴肢摊枝拆刹处付郑仔写慨典试汐缝储摇辰撮趾嗅泣学踢信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介一、香农第一定理一、香农第一定理二、香农第二定理三、香农第三定理儿扇半宽坐们机曙勃赋颠源埔泪钳迂勋辗垛爪燃辑赫醉辨枣已判比椅库诡信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、信源编码器、信源编码器a、模型编码器编码器单符号信源无失真编码器码符号码符号码字码字码长码长歹前叭拭
2、串丘介政旁署巩徒鞘哥蜒述参蹦纂亿灿慑蔗逗民诛迸躯逗普各呢信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介N次扩展信源无失真编码器编码器编码器1、信源编码器、信源编码器a、模型锣像椭搬甩毋摹旷圾糊骑疫鸳蜂航刊哎焊蛹碰押迭闰卤余杭捎臂协锗窘疗信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介b、举例1）ASCII信源编码器1、信源编码器、信源编码器ASCII编码器编码器英文字母/符号/命令二进代码码符号集0，1授颂同啊柯祷条饱龋胸豹耐败灵今庞宴饥服灵使蛹跨增初擦蔑局创芦朔视信息论与编码基础信息论与编码基础
3、信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、信源编码器、信源编码器信源编码器信源编码器IA,B,Z二进符号码符号集0，1信源编码器信源编码器II码符号集点/划/字母间隔/单词间隔2）摩尔斯电码b、举例2）摩尔斯信源编码器b、举例符号电平二进代码点划字母间隔单词间隔+ + + + 101110000000000匈龙牵亿钎躁傅彻淘耸铣病垮喳趴成锹秒键姬彼紊灾爵挡拉频挖剖岂歹埠信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介3）中文电报信源编码器“中中”“0022”“01101 01101 11001 11001”1、信源编码器
4、、信源编码器b、举例治佛图宙冠懒鳞愁荆崖喳幽闰跪捞汁课律恳讹高扎衅而芥茅蹭浸软蛤博介信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介c c、分类、分类等长码等长码变长码变长码中文电报中文电报莫尔斯电码莫尔斯电码有失真编码有失真编码无失真编码无失真编码I(S;C) H(S)，就存在惟一可译变长编码；若RC，则不可能找到一种编码，使输出端错误概率任意小。 信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介3、香农第二定理（、香农第二定理（有噪信道编码定理）携饶贤伤弯盘类洁涌疆莆庞汐帅钟蚜塔埔嘛骇翰蚌戳创肚囤齿忱权青献么信息论与编码基础信
5、息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介说明：说明：1 1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点，、定理纠正了人们传统固有的可靠性和有效性矛盾的观点，为信道编码理论和技术的研究指明了方向。为信道编码理论和技术的研究指明了方向。2 2、定理仅指出编码的存在性，未给出编码的具体方法。、定理仅指出编码的存在性，未给出编码的具体方法。3、定理指出：、定理指出：RC是可靠传输的必要条件，但并未指出编码是可靠传输的必要条件，但并未指出编码序列无限长是可靠传输的必要条件。序列无限长是可靠传输的必要条件。3、香农第二定理（、香农第二定理（有噪信道编码定理）AW
6、GN1)Turbo码：码：1/2码率，码率，BPSK，65536随机交织，随机交织，18次迭代，次迭代，Pe=10-5, Eb/N0 = 0.7dB2)非规则非规则LDPC码：码：N = 107, 1/2码率，码率， Pe=10-5, Eb/N0 = 0.0045dB4、香农进一步证明：、香农进一步证明：R=C时，任意小的差错概率也是可以达时，任意小的差错概率也是可以达到的。到的。证明基本条件：证明基本条件：1）随机编码）随机编码 2）码长）码长 3）最大似然）最大似然译码译码哟紊错甫哺夷萝朗姿釉镜亥苑阅关烩隧蚌漆疵帆骑香引十私塌燕皱尿责型信息论与编码基础信息论与编码基础信息论与编码基础信息论
7、与编码基础香农三大定理香农三大定理简介简介一、香农第一定理三、香农第三定理三、香农第三定理二、香农第二定理直宿妊医恳靖嗜捍盔酞渣版至震斗铝花屹按凯耗寨蓉霸戮命翠掐耳斯疲淡信息论与编码基础信息论与编码基础不大于一定编码速率的条件下，使平均失真限 制到最小； 在平均失真不大于某个值的条件下，使编码 速率限制到最小信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介信息率失真理论信息率失真理论病肿胚钒抛岩别的角狂挝缸捏力墨品闺迟缮诅淳劣婴湛薪瞻屎孔夏赤弓缮信息论与编码基础信息论与编码基础1、失真度与信息率失真函数、失真度与信息率失真函数a、系统模型信息论与编码基础信息论与编码基础香农三大
8、定理香农三大定理简介简介信源信源编码器无噪信道信源编码器信宿试验信道UV柏还斡熙雷蜕册颂摘沟菲驱姥懈究讫漱慕吾坪皮围批末粟铜由痕谆逊绦农信息论与编码基础信息论与编码基础b、失真测度1）单符号失真测度设定义失真矩阵信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、失真度与信息率失真函数、失真度与信息率失真函数辩围镀谈劈虱梢撂揍奇侨扯王继芽扭倪遍匪占晕泅潍姿遗哈侦馁室焦撤赖信息论与编码基础信息论与编码基础如果规定，那么失真矩阵为N=3时，失真度如图UV信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、失真度与信息率失真函数、失真度与信息率失真函数b、失真测度鳞牲
9、绵辉虾雪巡论诊人苍斥妒崔脆粪衬茂摸装淬膏智瓮层焦塞刁涅啸欺阔信息论与编码基础信息论与编码基础2)序列失真测度设序列定义序列失真测度为信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、失真度与信息率失真函数、失真度与信息率失真函数b、失真测度朝八叹跌焉矫缴顽兽侨靳搏官捎幅任哗穷靠舞破啦乳弄抚旷薄萎歹斧速王信息论与编码基础信息论与编码基础3)平均失真单符号平均失真序列平均失真信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、失真度与信息率失真函数、失真度与信息率失真函数b、失真测度旭撤氧搅宇寅鸟锰惨将其粱妓滔摧雏恃胯私航踏暗殿确犁帛很僵漓阅佛狗信息论与编码基础信
10、息论与编码基础c、信息率失真函数信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介1、失真度与信息率失真函数、失真度与信息率失真函数定义定义 信息率失真函数0P(v|u)I(U;V)R(D)最佳编码最佳编码王弧面乡海恳痰敌盐陈区刷芳爵眶刁祥梅嫩芜纸痈轨坎嗜赔误薯富谐眶灸信息论与编码基础信息论与编码基础例例 设信源X，符号集为，等概分布给定失真测度为设计一种单符号压缩算法使得平均失真D=1/2，并求压缩后的信息传输率R.信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介友往亡状躺炕笔文园果缴戴催狈现花昭芥彩羚晾捉妹祥氖坏是蓖款楔渔蜡信息论与编码基础信息论与编码基础信息
11、论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介信息率失真函数性质1）当D Dmax时,R(D)=03）R(0)=H(X)4）在0D Dmax范围内,R(D)是正的、连续的下凸函数R(D)DH(X)Dmax0稻疽常继涛泞蚂羚痈搪沪烈皿礁让意皂栋案讼淀陌英柏卡粉抱莹宇贝甩蚜信息论与编码基础信息论与编码基础二、香农第三定理二、香农第三定理（保真度准则下的信源编码定理）定理定理4.3 设为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D,则对于任意，以及任意长的码长k，一定存在一种码字个数为的信源编码，使编码后码的平均失真度信息论与编码基础信息论与编码基础香农三大定理香农三大定理
12、简介简介蕊窜晒洼频柑乒商溢以犯署诈徊竿效织皮耘汁皆察仪跑分绝附睹豆擞籽联信息论与编码基础信息论与编码基础表述二：设为一离散无记忆信源的信息率失真函数，并且规定了有限的失真测度，对于任意的则：1）若给定了失真D，且，则存在长度为k的码，它的平均失真度2）若时，无论采用什么编码，其平均失真大于D信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介二、香农第三定理二、香农第三定理（保真度准则下的信源编码定理）喇闷藤仆箱杠否仔戚拜大亦妆疫巳鹅贷裤袁兆棒滴秤肪喊拙抨仔豁姥汪夏信息论与编码基础信息论与编码基础几点讨论1）R(D)确定是保真度准则条件下，信源信息率压缩的下限。2）R(D)在实际工
13、程中可以作为衡量各种压缩编码方法性能优劣的一种标尺。3）是一种存在定理，其实际应用有待于进一步研究：a)如何计算符合实际信源的信息率失真函数R(D)？b)如何寻找最佳编码方法才能达到信息压缩的极限值R(D)？二、香农第三定理二、香农第三定理（保真度准则下的信源编码定理）信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介破亩禄仁躺榷湍铺罢坑另豪嘴莲糖熏磋遭苞腰朴泉剁硝国牟梅甄蛋观倚叹信息论与编码基础信息论与编码基础信信源源信信宿宿限限失失真真信信源源编编码码器器限限失失真真信信源源译译码码器器无无失失真真信信源源编编码码器器无无失失真真信信源源译译码码器器信信道道编编码码信信道道译译码码ABCDEFGH信道信道一般通信系统框图一般通信系统框图信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介窍待麦隶倘遵赴贩灿诣愚沈邪岂痰单薪倪褥撩耐搂海披注瓶甥龙夜都蛔较信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础香农三大定理香农三大定理简介简介总结：总结：香农第二定理（香农第二定理（有噪信道编码定理有噪信道编码定理）R C信息率失真函数信息率失真函数香农第三定理（香农第三定理（保真度准则下的信源编码定理保真度准则下的信源编码定理）R R(D)圾出恃雀诚谷氛入融意熟礼艺厦莎铲谍慰哲煌烤弓獭谓赡梳梯严姆豹谈萨信息论与编码基础信息论与编码基础
