《南京工程学院信息论参考试卷信息论与编码的学习要点》由会员分享，可在线阅读，更多相关《南京工程学院信息论参考试卷信息论与编码的学习要点（7页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码的学习要点自信息自信息表示随机事件 xi 发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件 yj 后所消除的关于事件 xi 的不确定性，等于事件 xi 本身的不确定性I(xi)已知事件 yj 后对 xi 仍然存在的不确定性 I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量 X 表示）的平均不确定性，它等于随机变量 X 的每一个可能取值的自信息 I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量 XY 的平均不确定性，它等于联合自信息的统计平均值，其定
2、义为：条件熵条件熵表示已知随机变量 X 后，对随机变量 Y 仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X)+H(Y)X,Y 统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量 Y 表示）后消除的关于另一个符号集（X ）的不确定性，也就是从 Y 所获得的关于 X 的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当 X 和 Y 统计独立时，I(X;Y)=0数据处理定理如果随机变量 X，Y
3、，Z 构成一个马尔可夫链，则有：I(X;Z)I(X;Y) I(X;Z)I(Y;Z)等号成立的条件是对于任意的 x，y，z，有 p(x/yz)=p(x/z)和 p(z/xy)=p(z/x)数据处理定理中不等式 I(X;Z)I(X;Y)表明从 Z 所获得的关于 X 的信息量小于等于从 Y 所获得的关于 X 的信息量。如果将 YZ 看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据 Y 进行处理后，决不会减少关于 X 的不确定性。（极限熵）熵率极限熵表示离散多符号信源的平均不确定性，它是信源输出的符号序
4、列中平均每个符号所携带的信息量。N时极限 存在，则称之为熵率，或极限熵，其定义为：称为平均符号熵，表示随机变量序列中，对前 N 个随机变量的联合熵的平均：离散平稳无记忆信源的极限熵多符号信源中最简单的是离散平稳无记忆信源，其极限熵 H=H(X)M 阶马尔可夫信源的极限熵如果信源在某时刻发出的符号仅与此前发出的 m 个符号有关，即 m 阶马尔可夫信源，其极限熵为：离散平稳马尔可夫信源，可将上述符号的不确定性问题转化为齐次、遍历的马尔可夫链的状态转移问题：信源的冗余度冗余度的定义为：连续信源的微分熵连续信源的最大熵对于输出信号幅度受限的连续信源，当满足均匀分布时达到最大熵；对于平均功率受限的连续随
5、机变量，当服从高斯分布时具有最大熵。码的分类非分组码分组码：奇异码和非奇异码（非唯一可译码、唯一可译码（即时码、非即时码） ）无失真定长信源编码定理离散无记忆信源的熵 H(X)，若对长为 N 的信源序列进行定长编码，码符号集中有 r 个码符号，码长为 L，则对于任意小的正数 ，只要满足 ，则当 N 足够大时，可实现几乎无失真编码，即译码错误概率为任意小。反之，如果 ，则不可能实现几乎无失真编码，当 N 足够大时，译码错误概率为1。克劳夫特不等式无失真变长信源编码定理（香农第一定理）失真函数，单个符号的失真函数或失真度，表示信源发出一个符号 xi，而在接收端再现为 yj 所引起的误差或失真的大小。平均失真信源的平均失真度表示某个信源通过某个信道传输后失真的大小，其定义为：保真度准则如果要求信源的平均失真度C，则无论码长 L 取多大，也找不到一种编码，使译码错误概率任意小。
