《信息论与编码知识点分布》由会员分享，可在线阅读，更多相关《信息论与编码知识点分布（5页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码知识点分布注：（1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。（2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。第二章第二章 信源与信源熵信源与信源熵1 信源的不确定性2 单符号离散信源（1）单符号离散信源的数学模型 x1,XP(X)p(x ),1x2,p(x2),xi,p(xi),xnp(xn)（2） 单符号离散信源的信息量 （自信息量 、 联合信息量、 条件信息量及三种信息量的关系）自信息量：I(xi) log p(xi)条件信息量：I(xi/ y
2、j) log2p(xi/ yj)联合信息量：I(xiyj) log2p(xiyj) log2p(yj)p(xi/ yj) I(xi) I(xi/ yj) I(yj) I(yj/ xi)互信息量：I(xi; yj) log2p(xi/ yj)p(xi) I(xi) I(xi/ yj) I(xi) I(yj) I(xiyj)信源熵：n1H(X) EI(xi) Elog2 p(xi)log2p(xi)p(xi)i1条件熵：H(X/Y) EI(xi/yj) 联合熵：p(xiyj)I(xi/yj)ji11mnH(XY) p(xiyj)I(xiyj) p(xiyj)logijij1111nmnm2p(xi
3、yj)熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性；平均互信息量：I(X;Y) p(xiyj)log2i1 j1nmp(xiyj)p(xi)p(yj) I(Y;X)各种熵之间的关系：例题：在理解的基础上求解实际问题：例题：在理解的基础上求解实际问题：3 多符号离散平稳信源离散无记忆扩展信源：定义；离散无记忆信源 X 的 N 次扩展信源的熵就是离散信源X 的熵的 N 倍H(XN) NH(X)离散平稳信源：定义；平均符号熵与极限熵；4 马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算第三章第三章 无失真信源编码无失真信源编码1 信源编码的分类：2 Kraft 不等式
4、与码树表示法；平均码长；编码效率；3 定长编码定理；变长编码定理；4 香农、费诺、Huffman、游程编码、LD 编码、算数编码、LZW 编码的编码过程。第四章第四章 限失真信源编码限失真信源编码1 失真测度与失真矩阵；2 平均失真度与保真度准则；3 信息率失真函数 R（D）及其定义域的确定；4 汉明失真下的的二元信源R（D）的定义式；5 对称失真矩阵下 n 元等概信源率失真函数的定义式；6 限失真信源编码定理及应用；7 多媒体压缩编码（了解）第五章第五章 信道及信道容量信道及信道容量1 一般信道的数学模型： p(b1| a1)p(b | a )12P(Y | X).p(b1| an)p(b2
5、| a1)p(b2| a2).p(b2| an).p(bm| a1).p(bm| a2).p(bm| an)2 信道容量的定义：C max I(X;Y)p(xi)bit/信道符号3 信道容量的计算：特殊的单符号离散信道的信道容量一一对应关系的无损信道C maxI(X;Y) maxH(X) maxH(Y) log2n log2mp(xi)p(xi)p(xi)具有归并性能的无噪信道C maxI(X;Y) maxH(X) log2np(xi)p(xi)具有扩展性能的无噪信道C max I(X;Y) max H (Y) log2mp(xi)p(xi)强对称离散信道的信道容量C maxH(Y)H(Y /
6、 X) maxH(Y)Hnip log2n plog2p plog2n1p(xi)p(xi)对称离散信道的信道容量 （行可排列、列可排列性）C maxH(Y) H(Y / X) log2m H(q1,q2,p(xi),qm)准对称离散信道的信道容量（行可排列，列不可排列-分割）一般离散信道的信道容量计算步骤：4 多符号离散信道：离散无记忆信道的 N 次扩展信道，如果信源也是离散无记忆信源的N 次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的N 倍。独立并联信道（积信道与和信道）N 个独立并联信道的信道容量等于各个信道容量之和级联信道多级级联信道的总信道矩阵等于所有信道军
7、阵的乘积。 其容量用单幅号信道的信道容量计算方法即可。第六章第六章 信道编码信道编码1 检错及纠错的基本原理；2 最小汉明距离与检错纠错能力；3 奇偶校验码、重复码、等重码的校验原理；4 最大后验概率准则译码、最大似然准则译码；5 信道编码定理：对离散平稳无记忆信道，其信道容量为C，输入序列长度为L。只要实际信息率RC，就必可找到一种编码，当L 足够长时，译码差错概率Pe C，则对任何编码，Pe 必大于零。6 线性分组码定义N,K线性分组码的设计过程（纠错能力、校正子、监督式、监督方程组、生成矩阵、校验矩阵） ；7 循环码的定义、码多项式的性质、循环码生成方法第七章第七章 网络信息安全与密码学网络信息安全与密码学1 经典加密算法原理2 公钥加密算法 RSA 原理3 数字签名原理4 安全套接层（SSL）握手机制
