《信息论复习3new》由会员分享，可在线阅读，更多相关《信息论复习3new（2页珍藏版）》请在金锄头文库上搜索。
1、第五章 无失真信源编码1、 信源编码以提高通信有效性为目的。通常通过压缩信源的冗余度来实现。2、 信源编码：将信源符号序列按一定的数学规律映射成码符号序列的过程。3、 编码器输出的码符号序列wi称为码字；长度li 称为码字长度，简称码长；全体码字的集合C称为码。4、 若一个码中所有码字的码长都相等，则称为定长码；否则为变长码。5、 若一个码中所有码字互不相同，则称为非奇异码；否则为奇异码。6、 若任意一串有限长的码符号序列只能被唯一地译为对应的信源符号序列，则称此码为唯一可译码。7、 奇异码一定不是唯一可译码8、 等长的非奇异码一定是唯一可译码9、 定理：一个唯一可译码成为即时码的充要条件是其
2、中任何一个码字都不是其他码字的前缀。10、 定长信源编码定理: 设离散平稳无记忆信源的熵为H(S), 若对N次扩展信源 用l个码符号进行定长编码，则对于任意 0，只要满足 则当N足够大时，可实现几乎无失真编码，即译码错误概率 PE 为任意小；反之，则不可能实现无失真编码，如果 当N足够大时，译码错误概率 PE 为1。11、Kraft定理：即时码存在的充要条件是McMillan定理：唯一可译码存在的充要条件是l 上述定理是存在性定理： 当满足Kraft（或McMillan）不等式时，必然可以构造出即时码（或唯一可译码），否则不能构造出即时码（或唯一可译码）。 该定理不能作为判断一种码是否是即时码
3、（或唯一可译码）的判断依据。12、平均码长：表示每个信源符号平均需用的码元数。 码符号/信源符号13、编码后信源的信息传输率R为： 比特/码符号14、编码效率公式，编码信息率公式。15、香农第一定理（变长无失真信源编码定理）： 设离散无记忆信源的熵为 H(S) ，它的N次扩展信源为SN，对扩展信源SN进行编码。总可以找到一种编码方法，构成唯一可译码，使平均码长满足： 16、香农码编码步骤如下：（1）将信源符号按概率从大到小顺序排列，为方便起见，令 （2） 按下式计算第i个符号对应的码字的码长（要取整）（3） 计算第i个符号的累加概率（4） 将累加概率变换成二进制小数，取小数点后li位数作为第i
4、个符号的码字。17、二元Huffman码的编码步骤：（1）将信源符号按概率从大到小的顺序排列，令（2）给两个概率最小的信源符号sn-1和sn各分配一个码元“0”和“1”，并将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。（3）将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n2)个符号的缩减信源S2。（4）重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。18、r元Huffman码：19、香农码编码结果唯一，但效率不高。Huffman码的编码结果不唯一，编码效率较高，对编码设备的要求也比较简单。20、本章作业及练习。
