数字通信 第2章 信源编码

《数字通信 第2章 信源编码》由会员分享，可在线阅读，更多相关《数字通信 第2章 信源编码（34页珍藏版）》请在金锄头文库上搜索。

1、 2 1 离散信源与模拟信源 离散信源与模拟信源 电信学院刘金电信学院刘金铸铸 第 2 章 信源编码 第 2 章 信源编码 2 1 离散信源与模拟信源离散信源与模拟信源 一 离散信源 一 离散信源 12 L Xx xx 例子 输出符合序列取自符号集 例子 输出符合序列取自符号集 1 3 统计规律 每符号出现概率 统计规律 每符号出现概率 1 kk 2 PP xkL 1 L k k P 2 1 离散信源与模拟信源 离散信源与模拟信源 电信学院刘金电信学院刘金铸铸 k k x 2 3 信源表达 信源表达 P k x表示符号 一种区分 无大小 表示符号 一种区分 无大小 但编码时 赋予数值但编码时

2、赋予数值 0 1 2 L 引入数学运算 伽罗华域运算 集中元素数量有限 引入数学运算 伽罗华域运算 集中元素数量有限 3 3 电信学院刘金电信学院刘金铸铸 2 1 离散信源与模拟信源离散信源与模拟信源 具有输出波形具有输出波形 x t 是随机过程的一个样本函数 是随机过程的一个样本函数 X t 抽样定理 抽样定理 2 s fW W x t 的最高频率 的最高频率 抽样抽样 x tx n 时间离散的随机变量 时间离散的随机变量 注意注意 x t 的概念 的概念 X t 抽样及抽样定理抽样及抽样定理 二 模拟信源 二 模拟信源 例如 语音 例如 语音 2 2 信息的对数量度 信息的对数量度 电信学

3、院刘金电信学院刘金铸铸 2 2 信息的对数量度信息的对数量度 两个问题 另一个 互信息 放在信道中阐述 两个问题 另一个 互信息 放在信道中阐述 一 离散信源输出符号的自信息量 一 离散信源输出符号的自信息量 2 log k I x 1 k P x 自信息量的意义和实质 符号出现的不确定度 自信息量的意义和实质 符号出现的不确定度 与通常所说的 信息 意义的区别 与通常所说的 信息 意义的区别 为何取对数 为何取对数 1 3 k 0P x 1 I k 0I P x 2 2 信息的对数量度 信息的对数量度 电信学院刘金电信学院刘金铸铸 独立符号序列 信息量相加 独立符号序列 信息量相加 12 I

4、 aI a 1I 12 I a a bit 故以 故以 2 为底 为底 独立等概二进制符号序列 每符号独立等概二进制符号序列 每符号 二 离散信源的信息熵 二 离散信源的信息熵 1 lo L kk k 2 gH XP x P x 物理意义 物理意义 H XX 0 01 是信源中每符号的平均信息量 是信源中每符号的平均信息量 例 例 12 0 99 Xxx 2 g P x 1 lo L k k k H XP x P x 0 08 bit 2 3 3 3 电信学院刘金电信学院刘金铸铸 2 2 信息的对数量度信息的对数量度 再例 离散无记忆的扩展信源 二进制信源扩展为四进制信源 再例 离散无记忆的扩

5、展信源 二进制信源扩展为四进制信源 结论 符号等概时 信源具有最大的信息熵 即平均不确定度最 大 结论 符号等概时 信源具有最大的信息熵 即平均不确定度最 大 三 连续随机变量 模拟信源输出 的信息量度 三 连续随机变量 模拟信源输出 的信息量度 12 0 50 5 Xxx P x 2 1 log L k k k H XP xP x 1 bit 2 logH Xp xp x dx 差熵差熵 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 任务 用尽量短的二进制符号序列表示信源输出符号序列 符号系 统的准换 任务 用尽量短的二进制符号序列表示信

6、源输出符号序列 符号系 统的准换 这里 仅讨论离散无记忆信源的编码 最简单的情况 这里 仅讨论离散无记忆信源的编码 最简单的情况 一 固定长度编码 等长编码 一 固定长度编码 等长编码 信源符号集 信源符号集 12 L Xx x x 2 log 编码方法 为每个符号指定唯一的编码方法 为每个符号指定唯一的 R 位二进制数字符串与之对 应 这个二进制字符串称为 码字 位二进制数字符串与之对 应 这个二进制字符串称为 码字 1 是 是 2 的幂时 的幂时 LRL 2 g1 2 不是 不是 2 的幂时 的幂时 LloRL 1 13 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 R

7、H x 可见 可见 c H 2 13 编码效率的定义 编码效率的定义 xR 是是 2 的幂 且各符号等概出现时 的幂 且各符号等概出现时 L100 c J L很小时 可对 个符号的序列进行编码 以提高编码效率 信 源扩展 很小时 可对 个符号的序列进行编码 以提高编码效率 信 源扩展 二 变长编码 不等长编码 二 变长编码 不等长编码 如果信源符号出现不等概 不等长编码更有效 如果信源符号出现不等概 不等长编码更有效 最早的例子 莫尔斯码 最早的例子 莫尔斯码 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 例 例 12 11 24 34 11 88 xxx X P x x

8、变长编码方案 变长编码方案 k 符号符号 x 编码编码 I 编码编码 II 编码编码 III P 1 2 1 0 0 1 x 1 4 00 10 01 2 x 1 8 01 110 011 3 x 1 8 10 111 111 4 x 3 13 4 13 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 编码方案编码方案 I 不能用 非唯一可译 或存在译码延迟 根据后面 的内容确定译码 举例 收到 不能用 非唯一可译 或存在译码延迟 根据后面 的内容确定译码 举例 收到 001001 编码方案编码方案 II 立即可译 且唯一可译 立即可译 且唯一可译 前缀条件 没有一个码字 是另

9、一码字的前缀 前缀条件 没有一个码字 是另一码字的前缀 编码方案编码方案 III 唯一可译 但非立即可译 因不满足前缀条件 唯一可译 但非立即可译 因不满足前缀条件 性能指标 编码效率 性能指标 编码效率 c H xR 为信源符号编码后 码字的平均为信源符号编码后 码字的平均 bit 数 数 R其中其中 k 1 L kk n P x R 5 13 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 三 变长编码的霍夫曼 Huffman 编码算法 三 变长编码的霍夫曼 Huffman 编码算法 1952 霍夫曼 霍夫曼 最优 满足前缀条件 信源符号编码后 平均最优 满足前缀条件 信源

10、符号编码后 平均 bit 数最小 数最小 当然 立即 唯一可译 当然 立即 唯一可译 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 例例 1 12 L Xx x x 6 13 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 7 13 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 另一种编码方法 另一种编码方法 8 13 2 3 离散信源编码 离散信源编码 电信学院刘金电信学院刘金铸铸 9 13 10 13 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 例例 2 8 符号信源 符号信源 2 3 离散信源编码 离散信源编码

11、 电信学院刘金电信学院刘金铸铸 11 13 12 13 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 例例 3 信源扩展霍夫曼编码 信源扩展霍夫曼编码 13 13 电信学院刘金电信学院刘金铸铸 2 3 离散信源编码离散信源编码 其他 如信源编码定理 略 其他 如信源编码定理 略 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 2 4 模拟信源编码模拟信源编码 目标 目标 x t 二进制序列 二进制序列 性能 性能 1 失真度 失真度 2 符号速率 符号速率 一 时间波形编码 一 时间波形编码 1 脉冲编码调制 1 脉冲编码调制 以语音编码为例 编码器 以语音

12、编码为例 编码器 x t x n x n C n 1 15 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 1 抽样 抽样 抽样速率 抽样定理抽样速率 抽样定理 语音信号的抽样速率 语音信号的抽样速率 8000 样值样值 秒 秒 2 量化 量化 x t 在在 mm A A 之间连续取值 无法用有限位二进制数精确表 示 之间连续取值 无法用有限位二进制数精确表 示 在在 mm AA 之间 取之间 取 M 个等间隔的电平值 量化电平 间隔个等间隔的电平值 量化电平 间隔 2 m A M 2 2 15 m A 1 则 则 1 M 量化 以最接近的量化电平值量化 以最接近的量化电平值

13、 x n 代替代替n x M 值的确定原则 语音 值的确定原则 语音 256 误差 位数 误差 位数 3 15 电信学院刘金电信学院刘金铸铸 2 4 模拟信源编码模拟信源编码 量化噪声 量化噪声 x nx n q n q n q 为量化噪声 为量化噪声 的概率分布 的概率分布 1 22 p qq 均匀分布 均匀分布 可求 量化误差的均方值 误差大小的度 量 练习 可求 量化误差的均方值 误差大小的度 量 练习 22 122E q 2 12 R 3 编码 编码 R R位二进制码 映射 位二进制码 映射 2M 用 用 64 kb s syms ff R 语音 符号速率 为什么叫 语音 符号速率 为

14、什么叫 PCM 编码 编码 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 4 15 例题 语音编码 例题 语音编码 8 256 R 22M x n取值范围 取值范围 11 22 若 若 1000 0 26x 编码结果 量化噪声 编码结果 量化噪声 1000 1000 C q 解 解 1 M个量化电平的取值个量化电平的取值 若若 x n取值范围 取值范围 1 则 则 0 M个量化电平为 个量化电平为 0 1 2 m Lmm M1 其中 其中 1 M 以 以 M 4 为例 图示 为例 图示 现现 x n取值范围取值范围 11 22 则 则 个量化电平为 个量化电平为 1 0M

15、1 22 m LmmM1 0 26 2 数值量化 与哪个量化电平值最接近 数值量化 与哪个量化电平值最接近 a 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 5 15 设 其 中设 其 中 k La q 22 q 则 则 1 22 kaq 或 或 2 2 M k aq 2aq k 一定是整数 一定是整数 2 Round a k 取最接近的整数 取最接近的整数 于是 步骤如下 于是 步骤如下 2 Round a k 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 66 0666 1 0 26 2 256 RoundRound 1 256 k 6 15 66

16、128 2 194 M k k 1000 C 编码 编码 194 对应的二进制数 对应的二进制数 194 128 64 2 11000010 量化电平 量化电平 1 22 4 10 k Lk 1000 q 0 262 34 k L 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 4 非均匀量化及实现 非均匀量化及实现 许多信源信号 小幅度发生概率大 许多信源信号 小幅度发生概率大 而均匀量化 量化噪声都相同 小幅度时 量化信噪比太小 而均匀量化 量化噪声都相同 小幅度时 量化信噪比太小 信号先经非线形处理 压缩器 再进行均匀量化 信号先经非线形处理 压缩器 再进行均匀量化 译码时 扩展器 恢复 译码时 扩展器 恢复 压缩器特性 压缩器特性 lg 1 lg 7 15 1 x y 图示 图示 00 20 0 2 0 4 0 6 0 8 1 0 10 100 1000 40 60 81 0 1 2 4 模拟信源编码 模拟信源编码 电信学院刘金电信学院刘金铸铸 2 差分脉冲编码调制 DPCM 2 差分脉冲编码调制 DPCM PCM 各样值独立编码 各样值独立编码 然而 大多数