《信息论与编码理论-习题标准答案-姜楠-王健-编著-清华大学》由会员分享，可在线阅读，更多相关《信息论与编码理论-习题标准答案-姜楠-王健-编著-清华大学（39页珍藏版）》请在金锄头文库上搜索。
1、第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿1.2 香农1.3 通信系统模型1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。1.5 略第2章 信息的统计度量2.1 少2.2 y的出现有助于肯定x的出现、y的出现有助于否定x的出现、x和y相互独立2.3 FTTTF2.4 2.12比特2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为，由于每枚硬币被取出的
2、概率是相同的，所以所需要的信息量二是确定它比其他硬币是重还是轻，设其发生的概率为，则总的概率所需要的信息量2.6 设表示“大学生”这一事件，表示“身高1.60m以上”这一事件，则故2.7 四进制波形所含的信息量为，八进制波形所含信息量为，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。2.8故以3为底的信息单位是比特的1.585倍。2.9 （1）J、Z（2）E（3）X2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数为，则圆点数之和为3出现的概率为故包含的信息量为（2）小圆点数之和为7的情况有(1, 6), (6, 1
3、), (2, 5), (5, 2), (3, 4), (4, 3)，则圆点数之和为7出现的概率为故包含的信息量为2.11 对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为平均每个回答中含有的信息量为对于女性，是红绿色盲的概率记作，不是红绿色盲的概率记作，则平均每个回答中含有的信息量为所以2.12 天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为，12个球中的不等重球（可较轻，也可较重）的不确定性为：，因为,所以3次测量可以找出该球。2.13 （1）当最后3场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此同理麦克最终比赛结果的熵为因为胜、负、平这
4、3种结果接近等概，所以该随机变量的熵接近最大熵。（2）假定大卫最后3场比赛全部获胜，那么麦克也必须全部获胜最后3场比赛最终才能得平，否则就是负。麦克3场比赛全部获胜的可能性是，因此在假定大卫最后3场比赛全部获胜的情况下麦克的最终比赛结果的条件熵是2.14 （1）假定一个家庭里有个女孩，1个男孩，相应的概率是，因此女孩的平均数是，女孩的平均数和男孩的平均数相等。（2）2.15 （1）根据题意，可以得到： 由式可以得到： 将式代入式得到： 由于的取值必须在0到1之间，由式和式可以得到的取值范围在0.9到0.95之间。(2)就业情况的熵为它在的取值范围内的曲线如图所示。（3）当时，达到最大值，这时，
5、。2.16 假设表示当地的实际天气情况，表示气象台预报的天气情况，表示总是预报不下雨的天气情况。，可见气象台预报的确实不好。但是如果总是预报不下雨的话则会更糟，因为和是相互独立的两个随机变量，即，所以因此气象台的预报准确率虽然比总是预报不下雨低，但还是传递了一些信息，消除了一些不确定性。2.17 由互信息量的定义因为，则有同理，因为，则有2.18 （1）根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为，随机变量不是等概分布，所以。（2）根据熵的递增性，。（3）（4）因为随机变量是的函数，所以2.19 假定为最大的概率。根据熵函数的性质，如果，则熵小于2
6、；如果，则只有一种可能：。如果，则有无数个解，其中之一为；如果，则没有解。2.202.21第3章 离散信源3.1 p(x2)3.2 53.3 13.4 23.5 （1）87.81bit（2）1.95bit3.6 Hmax(X)=13.7 （1）消息符合的平均熵（2）自信息量为（3）（2）中的熵为3.8 因为边沿分布条件分布概率如下：01209/111/8012/113/42/9201/87/9所以信息熵：条件熵：联合熵：或可知解释：（1）信源的条件熵比信源熵少这是由符号之间的相互依存性造成的。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为因此原因：略去
7、了和之间的依赖性。3.9 由定义，信源的熵信源的概率分布要求满足，而此题中。即各种可能发生的情况下，概率之和大于“1”。在实际情况下这是不可能发生的。3.10 由题意可知，联合概率分布为X Y10101/40101/421/41/4X Y20101/4011/40201/2Y的分布为Y101p(y1)1/21/2Y201p(y2)1/21/2所以由于所以，第二个实验好。3.11 由定义由于一阶马尔科夫信源之间的相关性，导致熵减小。3.12 （1）一阶马尔可夫过程的状态转移图如图所示。一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为，设状态的平稳分布为，根据可得，3种状态等概率分布
8、。一阶马尔可夫信源熵为信源剩余度为（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为二阶马尔可夫信源熵为信源剩余度为由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。3.13 （1）由题中条件，该信源是离散无记忆信源，对任意和，其中为中0的个数。故该信源是平稳的。（2）由离散无记忆信源的扩展信源的性质（3）可能发出的符号有0000，0001，0010，0011，0100，0101，0110，0111，1000，1001，1010，1011，1100，1101，1110，1111。3.14 状态转移矩阵故该马尔科夫信源是遍历的。设由即求得所以信
9、源熵为状态转移图略。3.15 （1）状态转移矩阵则有可得整理得（2）信源的熵其中状态极限概率整理得所以，此信源的熵（3）信源无记忆，符号的概率分布等于平稳分布。所以经比较，可得到。（4）一阶马尔科夫信源的极值当且仅当时成立。当时，；当时，3.16 （1）状态转移矩阵由解得整理得，平稳后信源的概率分布（2）求信源熵。先求状态极限概率又因为可得信源的熵（3）求或时的时时，即信源熵表示的是信源的平均不确定性。此题中和表明某一状态转化到另一状态的情况一定发生或一定不发生，即是确定事件，平均不确定性为零，即信源的熵为零。3.17 可知消息的极大熵，此信源的极限熵为由冗余度计算公式得3.18 （1）由一步
10、转移概率矩阵与二步转移概率矩阵的公式得（2）设平稳状态，马尔可夫信源性质知，即求解得稳态后的概率分布3.19 设状态空间S=，符号空间且一步转移概率矩阵状态转移图设平稳状态，由马尔可夫信源性质有即可得马尔可夫链只与前一个符号有关，则有3.20 消息元的联合概率是求得一阶马尔可夫信源的不确定性为3.21 组成的字如下：这种简单语言平均每个码字的长度为则平均每个字符携带的信息量为所以，其冗余度为3.22 掷次钱币就使其正面向上的概率为则有第4章 离散信道4.1 （1） （2）（3） （4）4.2 假设输入符号取值；输出符号。且。其中，表示单个符号的无差错传输概率，表示单个符号传输的错误概率。信道转
11、移关系如图所示。则传递概率为并且则信道传递矩阵为4.3 信道如图所示其转移矩阵为这是一个准对称信道，信道容量为比特/符号4.4 按定理解释：（1）此信道每个符号平均能够传输的最大信息为0.0817bit。（2）只有当信道输入符号是等概率分布才能达到这个最大值。4.5 信道传递矩阵为又知所以有故平均互信息量4.6 (1)三元对称理想（无噪声）信道的信道模型如图所示。(2)三元对称强噪声信道模型如图所示。4.7 由图可知信道1、2的信道矩阵分别为它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为4.8 传递矩阵为输入信源符号的概率分布可以写成行向量形式，即由信道传递矩阵和输入信源
12、符号概率向量，求得输出符号概率分布为输入符号和输出符号的联合概率分布为（1）（2）（3）信源和信源的信息熵（4）信道疑义度噪声熵（5）平均互信息4.9 根据公式求互信息量，而故应求。（1）求联合概率（2）求边沿概率（3）求后验概率（4）求熵4.10 信道传输矩阵如下：可以看出这是一个对称信道，那么信道容量为4.11 先求输入端须传输的信息量再求输出端内传出的信息量。要求信道传出的信息量，必须先求信道容量。由 知所以信道容量为，对信道而言内共传输的符号数为15000个。所以输出端传出的信息量为，显然内传出端无法得到输入序列的全部信息。4.12 （1）信道为准对称信道，输入等概率分布时达到信道容量
13、，即。设输入为计算输出得所以（2）信道仍为准对称信道，输入等概率分布时达到信道容量，即。设输入为计算输出得所以比较两信道容量，得4.13 依题意，阻值的概率空间为功率的概率空间由题意知再设则由,得又所以通过测阻值可以得到关于瓦数的平均信息量为0.187bit。4.14 （1）,由信道传输矩阵与信道的传输符号的概率分布得到信道输入与输出的联合分布矩阵为有边缘概率输出符号熵为条件熵为（2）显然。4.15 （1）由信道1的转移概率矩阵可知其为对称信道所以因为所以有信息熵损失，信道有噪声。（2）由信道2的转移概率矩阵可知其为准对称信道，输入为等概分布时达到信道容量。令此时的输出分布为所以因为所以信道2无噪声。4.16 因为是二元对称信道，根据信源概率分布：，信道传输概率： 得到输出符号概率分布根据互信息量的定义，有4.17 （1）这是一个错误传递概率为0.08的二元对称信道，它的信道容量为（2）每次顾客点菜
