《清华大学多媒体课件 (32)》由会员分享，可在线阅读，更多相关《清华大学多媒体课件 (32)（12页珍藏版）》请在金锄头文库上搜索。
1、4.3.1 统计编码原理信息量和信息熵图像的概率分布、信息量和 信息熵之间有什么关系？在图像 编码压缩理论研究中，为什么要 引入信息论中“熵”值的概念，有 什么重要意义？这是我们下面需 要说明的问题。以一个信源编码器模型说明编码器信源(消息集)编码输出集(接收端)X=x1,x2,xnZ=z1,z2,zn符号集Am=a1,a2,am编码器模型图 其中X是消息集, 由几个信号单元xj构成（j=1,2,n）Z是输出集，由几个码字zj构成（j=1,2,n），zj与xj一一对应 。Am是符号集，由m个码元ai构成(i=1,2,m)，符号集中的码元组 成输出码字。 一.概念:1.信息:是用不确定性的量度定
2、义的。2.信息量:从N个相等可能事件中选出一个事件所需要的信息度量或含量 。3.熵:如果将信源所有可能事件信息量进行平均就得到信息的熵(熵就是平均信息量)。(1). 信源均含有的平均信息量(熵),就是进行无失真编码的理论极限。 (2). 信源中或多或少的含有自然冗余。(3). 则信息源X的熵为: 取以 2为底：Shannon 论文传输包括:(1). 传输所需要的信息。(2). 以任意小的失真或零失真接收这些信息 。已经证明：只要符号速率不超过信道容量 C符号可以以任意小的差错概率向该信道中传输。另外几种典型的方法是: Fans, Huffman,编码方法定理,变字长编码最佳编码定理。变字长编码
3、定理在变字长编码中，对于出现概率大 的信息符号，编以短字长的码,对于出现 概率小的信息符号编以长字长的码，如 果码字长度严格按照符号概率的大小的 相反顺序排列，则平均码字长一定小于 按任何其他符号顺序排列方式得到的码 字长度。英文字母出现的概率按大小排列该英文字母编码的码长按大小排列概率大码长短证明:最佳的平均码字长度: 其中：P(ai)是信源符号ai出现的概率 ； ni是符号ai的编码长度。根据编码方法定义规定：P(ai)=P(as)nins 如果将ai 的码字与as的码字互换，则: (一). 熵、熵编码原理、变字长编码最佳 编码定理。 (二). Huffman就是利用了这个定理进行编码。(1). 把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。(2). 在分配码字长度时，首先将出现概率最小的两个符号的概率相加合成一个概率 。(3). 把这个合成概率看成是一个新组合 符号地概率，重复上述做法直到最后只 剩下两个符号概率为止。(4). 完成以上概率顺序排列后，再反过 来逐步向前进行编码，每一次有三个分 支各赋予一个二进制码，可以对概率大 的赋为零，概率小的赋为1。
