《通信原理第二讲信息及其量度》由会员分享，可在线阅读，更多相关《通信原理第二讲信息及其量度（22页珍藏版）》请在金锄头文库上搜索。
1、 通信原理 第二讲通信基础教研室通信基础教研室 潘若禹潘若禹 办公室办公室 3 3号实验楼号实验楼135135 电话电话 88166354 88166354 邮箱邮箱 1.31.3信息及其量度信息及其量度 1.1.信息定义信息定义 信息信息informationinformation 消息消息messagemessage 信息可以理解为消息中包含的有意义的内容信息可以理解为消息中包含的有意义的内容例如：今天晚上例如：今天晚上2323点天已经黑了。点天已经黑了。 今天晚上今天晚上2323点学校要放电影。点学校要放电影。 今天晚上今天晚上2323点西安要地震。点西安要地震。 今天晚上今天晚上232
2、3点地球要灭亡了。点地球要灭亡了。信息信息量依量依次增次增大大 2.2.信息量信息量I I 定义：消息出现的概率定义：消息出现的概率 的函数的函数 特性：特性： 1)1)消息出现的概率越小，所包含的信息量消息出现的概率越小，所包含的信息量越大；越大；( (反比的关系反比的关系) ) 2)2)若某消息由若干个独立消息所组成，则若某消息由若干个独立消息所组成，则该消息所包含的信息量是每个独立消息所含该消息所包含的信息量是每个独立消息所含信息量之和。信息量之和。（对数的性质）（对数的性质） 对数的性质对数的性质: : 结论：结论： 由以上的分析可得信息量的公式由以上的分析可得信息量的公式 (1-1)
3、 (1-1)单位：单位： 单位为比特单位为比特(bit (bit 简写为简写为b)b) 单位为奈特单位为奈特(nat (nat 简写为简写为n)n) 单位为笛特单位为笛特(Det)(Det)或称为十进制单或称为十进制单位位 单位称为单位称为r r进制单位进制单位【例例1 11 1】已知二进制离散信源已知二进制离散信源(0,1),(0,1),每一符号每一符号等概独立发送，求传送等概独立发送，求传送0 0和和1 1的信息量。的信息量。 解：由于每一波形出现的概率为解：由于每一波形出现的概率为 ，故，故传送传送0 0和和1 1的信息量都为的信息量都为【例例1 12 2】已知二进制离散信源已知二进制离
4、散信源(0,1),(0,1),若若0 0和和1 1出出现的概率分别为现的概率分别为0.750.75和和0.250.25，求，求0 0和和1 1的信息量。的信息量。解：解：3.3.离散独立等概消息的信息量离散独立等概消息的信息量 离散：消息集有离散：消息集有M M个可能的消息所组成个可能的消息所组成 独立：各消息间相互统计独立独立：各消息间相互统计独立 等概：各消息出现的概率相等等概：各消息出现的概率相等 1) 1)二进制二进制(M=2)(M=2)结论：对于等概的二进制波形，其每个符号结论：对于等概的二进制波形，其每个符号( (码码元元) )所包含的信息量为所包含的信息量为1bit1bit 2)
5、M2)M进制进制( )( )结论：等概结论：等概M M进制的每个符号进制的每个符号( (码元码元) )所包含的信所包含的信息量为息量为N bitN bit，是二进制的，是二进制的N N倍。倍。4.4.平均信息量平均信息量熵熵H(X)H(X)定义：定义：平均信息量平均信息量等于等于各个符号的信息量乘以各各个符号的信息量乘以各自出现的概率之和。自出现的概率之和。 单位：单位：bit/bit/符号符号 设各符号出现的概率为设各符号出现的概率为则平均信息量则平均信息量( (每个符号所包含信息的平均值每个符号所包含信息的平均值) )为为 (1-2)(1-2) 重要结论：重要结论： 信息源的信息源的最大熵
6、最大熵出现于出现于信源中每个符号等信源中每个符号等概独立之时概独立之时。 此时最大熵为此时最大熵为 bit/ bit/符号符号 (1-3)(1-3)总信息量总信息量I I的两种计算方法：的两种计算方法：1)1)若某符号集的熵为若某符号集的熵为H(X),H(X),则当该符号集发送则当该符号集发送m m个个符号时符号时 (1-4)(1-4)2)2)若消息中包含的符号不太多，可以用实际每个若消息中包含的符号不太多，可以用实际每个符号出现的次数来计算符号出现的次数来计算【例例1 13 3】已知某四进制离散信源已知某四进制离散信源(0,1,2,3)(0,1,2,3)其中每一个其中每一个符号出现的概率分别
7、为符号出现的概率分别为 ， ， ， ，且相互独立，且相互独立，求信源发送求信源发送1320101010020130020010021030010102001003010321013201010100201300200100210300101020010030103210消息时的信息量消息时的信息量。解法一：解法一：用熵的方法用熵的方法 bit/bit/符号符号 又又 ，所以，所以 bitbit解法二：解法二：用实际出现的次数来计算用实际出现的次数来计算 本消息共本消息共4747个符号，其中个符号，其中0 0出现出现2424次，次，1 1出现出现1212次，次，2 2出现出现6 6次，次，3 3
8、出现出现5 5次。每个符号次。每个符号所包含的信息量为所包含的信息量为所以总的信息量为所以总的信息量为1.51.5一般通信系统的性能指标一般通信系统的性能指标 对一个一般的通信系统而言，对一个一般的通信系统而言，有效性有效性和和可可靠性靠性是主要的衡量指标。是主要的衡量指标。 有效性：快慢问题有效性：快慢问题 可靠性：好坏问题可靠性：好坏问题1.5.11.5.1模拟通信系统的性能指标模拟通信系统的性能指标 有效性指标有效性指标传输带宽传输带宽 如传输一路模拟电话，采用单边带调制占如传输一路模拟电话，采用单边带调制占有有4KHZ4KHZ的带宽，采用双边带调制占有的带宽，采用双边带调制占有8KHZ
9、8KHZ的带的带宽。宽。 可靠性指标可靠性指标输出信噪比输出信噪比 一般说接收一般说接收端的输出信噪比越大，系统的可靠性越好。端的输出信噪比越大，系统的可靠性越好。1.5.2 1.5.2 数字通信系统的性能指标数字通信系统的性能指标( (重点重点) )有效性指标有效性指标传输速率传输速率 1)1)码元传输速率码元传输速率R RB B: :单位时间内传输码元单位时间内传输码元( (符号符号) )的数目的数目 单位：单位：波特波特 Baud BBaud B 若码元宽度为若码元宽度为T Tb b 则则 (1-5)(1-5)码元传输速率又称为码元速率码元传输速率又称为码元速率 传码率传码率 码率等码率
10、等2)2)信息传输速率信息传输速率R Rb b：单位时间内传送的信息量单位时间内传送的信息量 单位：单位：比特比特/ /秒秒 bit/sbit/s 信息传输速率又称为传信率信息传输速率又称为传信率 比特率等比特率等 分析可知码元传输速率与信号的进制数无分析可知码元传输速率与信号的进制数无关，只与码元宽度有关。因为信息量与信号进关，只与码元宽度有关。因为信息量与信号进制数有关，信息传输速率与进制数也有关系。制数有关，信息传输速率与进制数也有关系。3)3)两者的关系两者的关系1.1.二进制二进制 (1-(1-6)6) 两者数值相等，单位不同两者数值相等，单位不同2.2.多进制多进制 M M为进制数
11、为进制数 (1-(1-7)7)3.3.若码元速率保持不变，即若码元速率保持不变，即 (1-(1-8)8) (1-(1-9)9)4.4.若信息速率保持不变，即若信息速率保持不变，即 (1- (1-10)10) (1- (1-11)11) 5.5.一般情况下：一般情况下： (1-(1-12)12)有效性指标有效性指标频带利用率频带利用率 在系统需要的传输带宽不相同的情况下，在系统需要的传输带宽不相同的情况下，仅仅比较传输速率是不公平的，因此需要采仅仅比较传输速率是不公平的，因此需要采用频带利用率的指标。用频带利用率的指标。 定义：单位频带内码元定义：单位频带内码元( (信息信息) )传输速率的大小
12、传输速率的大小 意义：把带宽与传输速率相联系，以便更意义：把带宽与传输速率相联系，以便更好地考虑有效性。好地考虑有效性。【例例1 14 4】某信息源的符号集有某信息源的符号集有A A、B B、C C、D D所组所组成，各符号间独立。成，各符号间独立。(1)(1)若每个符号的时间宽度为若每个符号的时间宽度为 ，计算，计算1.1.各符号等概出现时的码元速率和信息速率各符号等概出现时的码元速率和信息速率2.2.各符号出现概率分别为各符号出现概率分别为 ， ， ， 时的码元速时的码元速率和信息速率率和信息速率解：解：1.1. 2. 2.由于由于 不变，所以不变，所以 仍为仍为500B500B，而此时，
13、而此时(2)(2)若每一个符号均以二进制脉冲编码，若每一个符号均以二进制脉冲编码，A00A00，B01B01，C11C11，D10D10，且每个脉冲宽度为，且每个脉冲宽度为 ，重复，重复(1)(1)题计算。题计算。解：解： 此时每一符号均由两个二进制脉冲所组成，此时每一符号均由两个二进制脉冲所组成，每个脉冲宽度每个脉冲宽度 ，因而每个码元宽度，因而每个码元宽度 ，与，与(1)(1)题相同，从而计算结果题相同，从而计算结果亦与亦与(1)(1)题相同。题相同。可靠性指标可靠性指标差错率差错率1. 1. 码元差错率码元差错率 码元差错率码元差错率 简称误码率，它是指简称误码率，它是指接收错接收错误的
14、码元数误的码元数在传送在传送总码元数总码元数中所占的比例。中所占的比例。更确切地说，误码率就是码元在传输系统中更确切地说，误码率就是码元在传输系统中被传错的概率。被传错的概率。 (1-13)(1-13)2. 2. 信息差错率信息差错率 信息差错率信息差错率 简称误信率，或误比特率，简称误信率，或误比特率，它是指它是指接收错误的信息量接收错误的信息量在传送在传送信息总量信息总量中所中所占的比例，或者说，它是码元的信息量在传输占的比例，或者说，它是码元的信息量在传输系统中被丢失的概率。系统中被丢失的概率。 (1-14) (1-14)注意：在二进制中注意：在二进制中 【例例1 15 5】某某消消息息
15、以以二二进进制制码码方方式式传传输输，信信息息速速率为率为2Mbit/s:2Mbit/s: (1)(1)若若在在接接收收机机输输出出端端平平均均每每小小时时出出现现72bit72bit差差错，求误比特率；错，求误比特率； (2)(2)若若已已知知信信道道的的误误比比特特率率 , ,试试求求平平均相隔多长时间就会出现均相隔多长时间就会出现1bit1bit差错。差错。思路思路 本题是误比特率概念和计算问题本题是误比特率概念和计算问题解解：(1)(1)每秒出现的差错数为：每秒出现的差错数为： (2)(2)信息速率信息速率 误比特率为误比特率为 每秒出现的差错个数每秒出现的差错个数 即平均每隔即平均每隔100100秒出现秒出现1bit1bit差错。差错。 本章考点本章考点1.1.概念概念 本章有许多基本概念，可能作为填空、简答本章有许多基本概念，可能作为填空、简答题。题。2.2.计算计算 信息量和熵的计算信息量和熵的计算 码元速率、信息速率、误码率的计算码元速率、信息速率、误码率的计算
