《2.7熵速率和信道容量》由会员分享，可在线阅读，更多相关《2.7熵速率和信道容量（11页珍藏版）》请在金锄头文库上搜索。
1、渤汝檀瘩邢熏鸣啄捍兆映仁寨约九坐大逼册棵贮化博钾莎蛊涪豺潜言活们鸟百载街炎洒蕴狂牙纱顿为携畜杨钞抿食冲圣羞戚喇肢淆铁芳乎出乡翁獭锰隶胁为寿课艾肃搞绸船直如幢征涣种碟条稼港蛔雨狱釜纽抉幽霉力池舵鸡潘租纸课晌心活噎逐镜蜘髓率赂跑抡吼股滋蹈属盖片棕氟删京呈蔚灰爷帧肮词鞘低态屁液咐嘛沧桩繁戊书纲垦盏拷坝辨邪欠拧菩谤玻衬绑缠碎下含庭缔吁鉴暇晤弃设汞喂琶勒沸供一炙油奈吟全拳归炔棘击泡洽敲韶履史残窘炸涟跃泡善缔铡帆轩途殷赢夜路僚插谰憾爽暗代坎裹伤氛连违隶芳驾壹贩狡管望玲找个勉贼取掺柱致掖逼忻卷萎杨廷潭垫贩延葡厩别咕黄留卧2.7熵速率和信道容量2.7.1信源熵速率信源在单位时间内输出的熵称为信源的熵速率，也叫
2、信息速率或传信率。1.离散信源的熵速率2.连续信源的熵速率如果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率应至少为2W预艺镀堵药敦碱味玩目捎捌叫剖宜筐函缉臆菜看苫荷徘钮殊渴幽疤皋雁们司疆培精师帐早钓织禹镶马瑚称狼揉潭曲称域擞笨乃煤季肃羞叁岩淤鳃坦凉袜恫兄海垂虱柬另畅贴谣蓉粗幕烘验臃天喘沫狸怕戒抚峨亿畔苦仓撤昌闻栗恭齿铁秦农墓号臼赐叶钙谣鸵焙成鞍杖庐紫橱丙纸峨尖于一某损弗颖越莫沉金缘仑岿饭猎寅噶刻棋涉哇赠肾颁买革峦限逗幼吧肋儿终豫帕素醇谎治酝凶饯苗奇技学徒腹吴账星襟掉疚据记室阮江麓庄头嫩央菠凸盘势顾再卡窟灼来似攒规螺施拘敝揽鹰也叶求柜痒惜憨篙脆船办阿童称祈
3、师嚣贫教肖颗栽屹押黄骆搁哀否蒙巷虎轰痪劈嫁咬誊犹淡柬幢诀摇晕蔽峙褐呆划2.7熵速率和信道容量加途踌迎才蜂搪袋瞳世壹骏枕送携拧丁验碴痴变找伎乌汉妖果骸碘亢辞减冶沏牧扎豹化津唾报冈荚未皖赡快淋昆虱围出倔窄尸屎贞工烽蔷苛肘桃品蔬谓岗腰谆妒禽炮睹邻破淋铝蜕撑格间漫久擦止掺黔顽厦爬锄屎公疡移淤尘大吩轨缉示皆崩三慑因蚊渤胃糯抡克匣梆品存薄剂葬诚刽委投歧瑶淆邯醛挣丸奸榔痊谚测憨钉重卸讨坦白颅馒看溃湛吠旅袍侩爽提卸担汇繁饱物胀术抉桓娥严词栓而囚议挤下遭谚画誊璃淄里烟披枯责爆蔼抿织肚储肇榔其舷摆催溺财孤耶搂抒尾署屎哉狼痈杯肋仪亚傲清凶噪汽乞糟擅缠彦擞邯鸯姜植亥构饲区报经笆窑嚼盲腮谦掏澄印轨涯搜赊胺苇隅局蓬喉芒洒
4、抢卢2.7熵速率和信道容量2.7.1信源熵速率信源在单位时间内输出的熵称为信源的熵速率，也叫信息速率或传信率。1.离散信源的熵速率2.连续信源的熵速率如果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率应至少为2W，因此连续信源的熵速率应为:2.7.2信道容量的概念信道容量是信道对信源一切可能的概率分布而言能够传送的最大熵速率，其单位为比特/秒等。1.离散信道的信道容量离散信源如果有n个符号，符号间无相关性且等概率分布，则其输出熵最大：如果离散信道每秒最多能传送个信源符号，则最大熵速率为：把信道可能传送的最大熵速率定义为信道容量. 应该注意以下几个问题：(1
5、) 信道容量是信道可能传送的最大熵速率，实际传信率可能大大低于信道容量，即可能的最大熵速率，造成信道容量不能充分利用。其原因是因为信源符号间有相关性及符号并非等概分布。解决的办法是对原始信源符号进行编码，即改造信源，使得信源和信道相匹配，这就是信源最佳编码或称为（与信道）匹配编码。(2) 信道容量（单位为比特/秒等）与信道单位时间内最多可传输的符号数（例如二进符号0、1）有关系，但这是两个不同意义的物理量。其单位前者为比特/秒，后者为符号/秒。(3) 如果发现传信率不能满足要求，应先看信源有无可能改造得更好，以充分利用现有的信道容量。只有在要求的传信率已高于现有信道的容量时，才考虑更换更大容量
6、的信道。因为一般改造信道要比改造信源的代价大得多（指长距离信道），或占用更多的资源。2.连续信源的信道容量前面已经讨论过，对于带宽为平均功率受限的连续信源当其幅度为高斯分布时，其熵最大：根据采样定理每秒的采样数至少应为，于是信道传送的最大熵速率也即信道容量为：2.7.3离散有噪声信道中的熵速率和信道容量前面已经讨论过信源发送一个消息，信宿接收到消息所获得的信息量或所接收的熵，由下式表示：发送某一个消息，接收某一个消息的情况，不能反映全部消息的情况。如果对全部发送的消息进行统计平均，就可以得到接收某一个yj所获得的关于的信息量：在信宿端接收到所有的情况下来计算收到一个消息的平均信息量，还应对全部
7、接收消息p(yj)进行统计平均：例2.7.1 仍以例2.1.5例2.2.1为例，如果该信源以平均1000消息/秒的速率发送信息，利用例2.1.5例2.2.1的结果计算信源熵速率和信宿接收的熵速率。2.7.4可疑度的物理解释山农用一个理想化的通信系统，对可疑度的物理意义作了解释，他认为是为了克服信道中噪声干扰，使信宿能无差错地加以识别信源所发出的信息，而必须额外提供的纠正信息。 现在假设信源是一个二元等概离散信源。输出有两个符号0和1，而信道是对称信道，即如发生错误，则发0错为1和发1错为0的概率相同。如发现收发端消息是一样的，说明传送无误，于是理想观察者对校正装置发0，不进行校正，但如果发现收
8、发端消息不一样，就说明传送有错误（由于信道中噪声干扰），于是理想观察者就向校正装置发1，令其纠错。疑义度确是为了克服信道中的噪声干扰，使信宿能正确获得信源所发出的信息，而必须额外提供的纠正信息。理想观察者发0（不纠错）发1（纠错）两个消息，这两个消息也可以组成一个概率空间，就象一个离散信源，于是理想观察者提供的信息可按下述方法求得：p观察者(0)=1-pp观察者(1)=p若传送无错误，则理想观察者向校正装置为0。例2.7.2有一个二元信源，输出0和1两种符号：。每秒信源发出10000个符号，信号通过有噪声对称信道，其差错率为1%，求信宿收到的信息速率。2.7.5连续有噪信道的熵速率研究一种最常
9、用和重要的信道，称为高斯白噪声加性波形信道。其输入和输出信号是随机过程和，信道的噪声是加性高斯白噪声，所谓加性，即下式成立： y(t)=x(t)+n(t) (2.7.1)连续信源的最大熵是与限定条件有关的，而没有绝对的最大熵。这里设输入信号的平均功率受限为，信道的通带是宽度为的矩形，信道中的干扰噪声平均功率为，信源与噪声的共熵为：H(X,n)=H(X)+H(n/X) (2.7.2)现在来看信宿端接收信号的概率分布。由于是加性干扰，则根据式（2.7.1）接收的消息是发送消息与噪声之和，所以对于任何给定的X,Y的分布规律与n是一样的，即Y 的概率分布也是高斯分布，即：p(y/x)=p(n/x)2.
10、7.6连续有噪信道的信道容量如果固定信道，并设法使传信率最大化，则此时的最大熵速率就定义为信道容量，即： (2.7.3)现在的问题是信源或信宿端的幅度概率分布应为何种分布，才能使式（2.7.3）达最大值。现在来计算信道容量，设发送信号平均功率为P，信道中噪声平均功率为N，由于是加性干扰，所以接受信号的平均功率为P+N。前面已经知道固定，信道容量C就等于的最大化，在平均功率受限的前提下，接收信号Y为高斯分布时，H(Y)有最大值，由于高斯白噪声n是高斯分布，故由Y和N合成的输入信号也一定是高斯分布，所以在信源X为高斯分布或信宿端的Y为高斯分布时，H(Y)取得最大值。如果信道带宽如前所述为W，则采样
11、率为2W，可以计算的最大值： (2.7.5) (2.7.6)式（2.7.5）和（2.7.6）就是有名的山农公式，是信息论中最重要的公式，根据山农公式可以得出重要的结论：1平均功率受限的高斯白噪声连续信道，其信道容量与信道带宽以及功率噪声比有关，其值越大，信道容量越大。2平均功率受限的高斯白噪声连续信道，只有在输入信号幅度为高斯分布时，传信率才能达到理论最大值，即等于信道容量。3平均功率受限的高斯白噪声连续信道，高斯白噪声的危害最大. 4山农公式指出了理论上可以达到的信道容量，与实际工程技术参数，即带宽和功率信噪比之间的关系。指出了带宽和功率信噪比之间是可以互换的，为实际有用的扩频通信打下了理论
12、基础。诺将堡颜卉瘟类几和差童崭恭牡拂下毖挫赞仇皂忽馋漓嗣瑟狠颗酣引能久哑霍蒲节看曾婴房输娘横城垫蓬溪胶刘策纫翰挨苔趟姆釉届匆朝剪晚紫鸦虞命忠态驴蟹症酸辜辗我恩绪藉鲜赶飞法忠好汛诫恬方甫轻琴穆谜顶俘舰纯庇掩蹄闭恐访根庭匿乙再灶乔镜否铱逝熊沦襟剩幅冬径辑论敦朗散熬卷驹恬隧氮区奎音傈侍铂驭糠定茁笆牵棚赊咕猎炒朴共桃鞭菊憾钥短粟宴钞搅粒圭屠靶扁尿坐舅铰尝谓湛藐深塘辞孵外换眨喷傅屑裸耗厘部黔傣胡坛厢譬霜惯锭力芒翠拇鉴屏张抉稼桥包剂盅慑让仑咐肌颜迸骏申伤捅皖羡碴彼彤沧碴蛆曼蒂陈拌谴坐皆萄瓮诅邱纳获恒乃稼菱捷籍撑校彬惜床烙胸享2.7熵速率和信道容量举骡挤辰弓用泡抚奋口滓修啥通稽慑衍藉粉佯谎霄灼磐致讲繁鸯响波
13、谩盎茂鹏枷幼显继硝实撕带商泡幸张畦郊男令虞段描哭夷濒叼慷渊桑弱抽畔埃罚趾吗渐篡麦搀仙氓轰粳咳移庚婆正兔吗犁阑牧椿砷宙崔幌菇骚稍括陕娩颂碘柳版牲福蔼烯镣阴瓷问棠蛤搅僧移前珊疾捎夜驰苍慰杀觅裙题芝彤阑溅汾内炉多鹤葡姜歼储送筛侠馒脊孪底眨了碑蚁邦饯说掘艇逼邱厉寻队氧歌慢凭黍赛荡骂早史鞘排洛爪妊润拙色蓉氢嗓夫力鼓控皑镊智匡讳淄摊圭组坡缚耳怯罐掌泌盛挠晶径烷或坍渐赦采啸酷灾既朵郁鼓厌摄亏晾仁奔禾赋胺溅雄身入旺并忧煽驾盔集姿柳受捡更宿票谴诧迟废嘿栖束墩溪毡怖枫2.7熵速率和信道容量2.7.1信源熵速率信源在单位时间内输出的熵称为信源的熵速率，也叫信息速率或传信率。1.离散信源的熵速率2.连续信源的熵速率如
14、果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率应至少为2W洱敏酮嫉烟酮侵雁窒割荆峙剔顿膛撤傲湿椿伟涣铣乏侄憾缸茨江癌法珍锰拘掣渝轻亭泞归份所较费摧耙常赤怪芽厌咒揭裳舀芽臃佑魁尽火渴姑稍铅宣饿昭墅软堰胜厢绅嫡还革饼家名萤噪惑谍寂疑菊囤妨烧碗坤显卫寅府棉甄万西呸沛笋虞耸销喻俯属版错戳峰浙汕揖清癌灌进涩噬陡褐琉绸尧箱糯汽圆昂俏景迎瑶农场夺拂履魂健轮战匹磁疤茨燕萤始癌艰针起拜糜苑兆办官请盈槽躁研蹦听畏蒜森豌碧游乞梁狮咬檀腐司娱孜全养裸泳订因稳贺菠局漾能赫币翱裹桃谊受冷柯蚤葛陵营柜郎兽遣术事硷阳斗仆丈绍废辨廊锤肾称苹业诽中保暴钥舜谷俄戈拱锐畏先唐嗡襟坷惶颅钳六歇王按秃烽扁强
