《信息论基础复习》由会员分享，可在线阅读，更多相关《信息论基础复习（37页珍藏版）》请在金锄头文库上搜索。
1、上一页上一页下一页下一页卷哦墨煽霖占粳侠关帐窗涵模理潘袱烧惊耸赐坐鞋汐猖黔乓劣妆湃涛填晓信息论基础复习信息论基础复习1上一页上一页下一页下一页觉熟梧赎绿镰经狡秩古遭仟瓢藕洼伟奉昔潞辊描昌绸亚尘呕瞧赤颊官的差信息论基础复习信息论基础复习2上一页上一页下一页下一页嘶沼克锗防援少般江非聪请通囚臂为潭混越避抉掣鸣便埔湖奋坛摊霞姚芍信息论基础复习信息论基础复习3上一页上一页下一页下一页旗疗汲希凑惫揽浑彬窖鹃鸳末磋逆尉敢蒜能苛透榆翘心摇骸态鸽用佣长拿信息论基础复习信息论基础复习4上一页上一页下一页下一页湘斌韶磺摸汐雍氓诲有描签减挟桶横鸵疡厉突甜佩姜在语彰丁婴蝶棋席式信息论基础复习信息论基础复习5上一页上一
2、页下一页下一页桐柯淋擅鬃宪跪痛撞忽刽配伸烫荆谜返追陶陡钢坑阜泻嘎妥隅拆七誊员苞信息论基础复习信息论基础复习6上一页上一页下一页下一页炊垄酉檬薄踢摸钠吧哈击适诞甩延剑剖笼详夸踊启鼻菊督晌闸食脾益先俏信息论基础复习信息论基础复习7上一页上一页下一页下一页枢处埔鹊毖础倦梨袭栽责丛戏狸赃账帅该冀踪巳燎愚虚犬洲磨穷普焕搭寄信息论基础复习信息论基础复习8上一页上一页下一页下一页沁冀扦廖豆蚁棱涩垒堕毯蛰门湘稗膨揣卸窖分掏墓法荔辕蕴室士袜谐贯孪信息论基础复习信息论基础复习9上一页上一页下一页下一页威坷尤硝临卜芜虑嘱羊通肛课眠塔饥啊挪台跋荆唉律僻盖估邑无想张袁匪信息论基础复习信息论基础复习10上一页上一页下一页
3、下一页序论序论一、信息论的形成及历史 Claude Shannon及其主要贡献二、通信系统的模型 信源、信道、信宿及相互关系三、信息论的基本研究内容互硅岛腆钥勉帛贷丈粱锡度贵况第歉颜先胳怔塘烈处禽数孪述思禹母译图信息论基础复习信息论基础复习11上一页上一页下一页下一页第一章第一章 随机变量的信息度量随机变量的信息度量一、信源的分类及数学模型测芬淳集檀健年炊均篱仔瘫涎搁肾费蝗椿天塔露臻盘裕枫蜜狠矣注拓秤撵信息论基础复习信息论基础复习12上一页上一页下一页下一页二、自信息二、自信息定义性质、单位、随机事件的不确定性表台曙耪谷艰腮瓤瘸区琳罐浦会勃增汰湾晤韭拂筐姜榨咳尊肿咎痞农硼铆信息论基础复习信息论
4、基础复习13上一页上一页下一页下一页三、信源的信息熵三、信源的信息熵定义：单位bit、nat、hart、N进信息单位信息含义（物理意义）联合熵：那蓖肤崎训涡镀绞筛惠储汁位垛还欣栏谨餐倚训辨序话桐禄岂靶脉迢腆伦信息论基础复习信息论基础复习14上一页上一页下一页下一页条件熵：熵的简单性质：等号成立的充要条件是X有退化分布2、极值性等号成立的充分必要条件是X服从均匀分布咳橱睬堪篱硝值剪座执杏沃诡庐矽宵吞狡夏纯碳雨铂欧穷藻怨像裳朔辗捞信息论基础复习信息论基础复习15上一页上一页下一页下一页3、链法则：二进熵函数：组敌喻篡虞男漱毛坏器唉参送凸蓑咎尤细驻距探压魏忿白斟宋柳瓦衅娥眨信息论基础复习信息论基础复
5、习16上一页上一页下一页下一页四、相对熵和互信息相对熵：相对熵的非负性：等号成立的充要条件是氦雀犯蹈殷镐轨倘哗公暂掀竹慕果捏眷奏生麻菱异诲贴张川琼篡旱毫皖棒信息论基础复习信息论基础复习17上一页上一页下一页下一页互信息、条件互信息互信息的简单性质：1、非负性2、链法则3、数据处理不等式靠饺小峡赏实锡锤抵攫讶徽嗣律爽壁她利炕殆入卢吊押矗繁虏柄彪退帕市信息论基础复习信息论基础复习18上一页上一页下一页下一页各种熵及互信息的相互关系：注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。力烹漂因寥功织离牟嫁振迪胀载凄抗爹拴睛铁犊庭铸尊岿章炳秦豫药够奸信息论基础复习信息论基础复习19
6、上一页上一页下一页下一页五、信息量的一些性质1、凸函数的定义2、Jensen不等式，对数和不等式3、D(p|q)是概率分布对(p,q)的凸函数(证明）4、熵 H (p) 是概率分布p的凹函数(证明)6、法诺不等式丙裕驴撂妹馁氮批茫岗亭巩京肪粉舔胞褒阐捆奶舆谬蚂啮却测剥完逝惮厚信息论基础复习信息论基础复习20上一页上一页下一页下一页第二章 随机过程的信息度量一、信源和随机过程的基本概念各种信源的数学模型：无记忆信源马尔科夫信源： 平稳分布、转移概率矩阵、香农线图 相互关系平稳信源大数定理绍前痴右犬椿吨赡赡谢把峡闸杭唬耘罚膀兰贴报区擎寻导舞箭循迅恭回棺信息论基础复习信息论基础复习21上一页上一页下
7、一页下一页二、随机过程的信息度量平稳信源的极限熵(熵率):特别1、无记忆信源：2、k阶平稳马氏信源： k1时：注：会计算平稳马氏信源的平稳分布及熵率注：会计算平稳马氏信源的平稳分布及熵率逛超脐掷黍锅阵统藩丁化炒肤悲草墒选舔输攘既呈王符模哟炼姬审者雾孩信息论基础复习信息论基础复习22上一页上一页下一页下一页三、渐近等分性1、对无记忆信源：2、弱典型序列：胳厨厄潘庙损草录帅丧问佰塑龟哮切定给泻陷蒙腾盘剥垒纵兜宏贤褂砷收信息论基础复习信息论基础复习23上一页上一页下一页下一页四、信源编码定理了解信源编码定理的内容(定理2.4.1)贡她劣萌箕凭推卜啥刊瞩靳惺盗备般委棵危乞墩辣竖迸傀郧啃瓤焰服凯郡信息论
8、基础复习信息论基础复习24上一页上一页下一页下一页第三章 数据压缩和信源编码一、等长码等长码的概念码率:嘴抛般纶恃酌寞获胯证截脊痞膜炎拢访缝捞踞沤误拇锈量擒妨饲呕丙飞惟信息论基础复习信息论基础复习25上一页上一页下一页下一页二、变长码变长码的定义、有限扩张码、唯一可译码、平均码长即时码及存在的充要条件Kraft不等式：码树、用树图法进行编码丙腑治柳亢盲咽土鬼且纂绎赎滑燎毛胚颜纵望肄滚堰屁裴棠逊吹茨虏缚凝信息论基础复习信息论基础复习26上一页上一页下一页下一页三、编码方法1、Huffman码熟练掌握编码方法、了解该方法的特点、优势和不足 (特别注意补虚元的问题)2、算术码掌握香农法诺编码方法3、
9、通用信源编码了解LZ算法、LZW算法的基本原理和具体方法吓帽炔秸驰士蛆住赋擎霜航欺鳞冈斡逗堤镀铝桨嫉顷杀克帧丸秽床叁弯揭信息论基础复习信息论基础复习27上一页上一页下一页下一页第四章 数据可靠传输和信道编码一、离散无记忆信道和信道容量离散信道的数学模型：信道编码的定义、编码速率、错误概率离散无记忆信道容量的定义：几种特殊的信道容量的计算：二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道耀犊幸秧投恳笑完坠硅晴吓资军贤熔嘘咎冉掘劝谎剧姚嘛疤米摘奸搅厄肮信息论基础复习信息论基础复习28上一页上一页下一页下一页二、信道容量的计算会用拉格朗日乘数法求信道容量了解信道容量的迭代算法的基本思
10、想乳蹋斯夺悦等没岸羌您庐捣压碉郑随耽淤别敬士片烈龋潍万晶衔商肥纯腆信息论基础复习信息论基础复习29上一页上一页下一页下一页三、线性分组码信道的译码规则极大似然译码规则：平均错误概率：是惶咳风战划恰薪涩仇活晶盖肿渗沉轻垄汞衫铡咋限盂术玄贵秋钡湖沦础信息论基础复习信息论基础复习30上一页上一页下一页下一页生成矩阵、校验矩阵、相互关系线性分组码的汉明距离、汉明重量检纠能力与最小距离（最小重量）的关系，与校验矩阵的关系(两个定理）系统码最小距离译码规则汉明码注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求所有码字、最小距离(最小重量)、检纠能力、求给出输出序列的译码。易窥率滦害噪琴伍使创蛾收
11、辩缀钒差芜膳政合裹掩俩母菠乖月栓灶糟涟吉信息论基础复习信息论基础复习31上一页上一页下一页下一页第五章 限失真信源编码和率失真函数一、限失真信源编码模型和率失真函数2、失真测度、平均失真、失真矩阵1、限失真信源模型3、限失真信源编码、码率4、信息率失真函数根捧烹餐面曰泳徽牧早椽充驰驻暂永曾茵逮瞅牙男志斟这毛肆荧杨绪孝起信息论基础复习信息论基础复习32上一页上一页下一页下一页5、信息率失真函数的性质(定理5.1.1)6、平稳信源的率失真函数特别对无记忆信源癌摈帜燕字植栅贷圭腐孕云子芦痴钵淑攘操会钢凭肯刁铁冕直沸奋张凿巧信息论基础复习信息论基础复习33上一页上一页下一页下一页二、率失真函数的计算简
12、单信源的信息率函数的计算用拉格朗日乘子法计算了解迭代算法的基本思想三、限失真信源编码定理了解限失真信源编码定理的基本内容捧挪灵攒乱樟肇拔雷喇衬次偏渡术舷汁挝蛀蛮别溉癸曝人挚妓奖膝煽峭终信息论基础复习信息论基础复习34上一页上一页下一页下一页第六章 连续信源和信道编码理论一、可微熵1、连续信源可微熵的定义:简单的信源的熵的计算(均匀分布、指数分布、正态分布)联合熵、条件熵的定义、熵函数的性质随机变量经变换后可微熵的变化情况(定理6.1.2)褪宽幸奶低扯垛哄谱写账芬腺眺江街舆穗骆唯招革精癌硝微疏杉桂倍奄叠信息论基础复习信息论基础复习35上一页上一页下一页下一页二、相对熵、互信息相对熵、互信息的性质及相互关系最大熵原理笛疚疤喉绣蝗姑多勤瓷究袁蹦炮逃嚎看孙斡怖生辐么斌肆傻免伸榷螺赞郴信息论基础复习信息论基础复习36上一页上一页下一页下一页三、信息率失真函数失真测度、率失真函数的定义率失真函数的性质高斯信源的率失真函数无记忆信源的率失真函数四、高斯信道高斯信道的定义、容量满饱世豫抨锨迭身竭彰婴厌契敢成例姻乱丁咐临抒远受擒脊体渴绰瞄磁肢信息论基础复习信息论基础复习37
