第3章 渐近均分性与香农第一定理,n次扩展信源有什么特性？ 香农第一定理明确了什么？,3.1 n次扩展信源,定义,多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率相同,1、n维离散平稳信源,2、n维离散平稳信源的联合熵,定义,n维离散平稳信源的符号序列中各符号相互独立,3、n维离散平稳无记忆信源/n次扩展信源,表示,n维离散平稳无记忆信源——独立同分布，相当于单符号离散信源的n次扩展信源,4、n次扩展信源的联合熵,例1,二次扩展信源及联合熵,二次扩展信源,二次扩展信源的联合熵,3.2 渐近均分性定理,1、n次扩展信源的渐进均分性,例1,二次、三次和四次扩展信源的概率分布特点,二次扩展信源的概率分布,三次扩展信源的概率分布,四次扩展信源的概率分布,n次扩展信源的符号序列分为两组，n越大，其中一组的概率之和越接近1，概率相差越小——渐进均分性,2、渐进均分性定理,n次扩展信源的典型序列，任意给定ε0，当n足够大,定理,当n足够大,由大数定理,典型序列的联合自信息等于联合熵——典型序列等概率,不满足该式的符号序列——非典型序列,推论1,推论2,3.3 香农第一定理,定理,(1)正定理,当n足够大，n次扩展信源的符号序列划分为典型序列与非典型序列，典型序列的数量,无失真编码——保证对典型序列进行一一对应的编码,无失真编码的码字数量,(2)逆定理,必然有部分典型序列没有对应的码字,有一一对应码字的这些典型序列的编码无失真，它们的概率之和为译码正确概率1-Pe,译码错误概率,香农第一定理表明了n次扩展信源无失真信源编码的存在性，明确了熵H(X)是无失真信源编码平均码率的下界——香农界,。