《人工神经网络设计课程报告byHHU》由会员分享，可在线阅读，更多相关《人工神经网络设计课程报告byHHU（29页珍藏版）》请在金锄头文库上搜索。
1、人工神经网络课程报告姓名：张 进学号：151307040035专业：计 算 机 科 学 与 技 术指导老师：曾 晓 勤2015年12月1基于BP神经网络的英文字母识别技术报告摘 要 ： 本 技 术 报 告 主 要 介 绍 了 利 用 BP 神 经 网 络 进 行 英 文 字 母 的 识 别 主 要 过 程 ， 为 了 检 测 网络 的 容 错 性 能 和 抗 干 扰 能 力 ， 试 验 中 我 还 准 备 了 隐 藏 16%和 33%样 本 数 据 ， 因 为 题 目 中 没 有特 别 要 求 ， 故 本 次 实 验 程 序 的 编 写 主 要 使 用 了 作 者 较 为 熟 悉 的 JAVA
2、语 言 。关 键 词 ： BP神 经 网 络 ； 噪 声 干 扰 ； 模 式 识 别 ； JAVA 语 言一 、 项 目 设 计 题 目用 多 层 感 知 机 网 络 实 现 对 样 本 图 像 A-Z 的 识 别 ， 输 出 相 应 的 数 值 0-25， 通 过 分 析 实 验结 果 讨 论 感 知 机 网 络 的 识 别 和 容 错 性 能 。二 、 实 验 设 计 概 要1、 实 验 数 据 预 处 理模 式 识 别 应 用 的 领 域 非 常 广 泛 ， 其 中 字 母 的 识 别 是 一 个 经 常 研 究 的 课 题 。 由 于 在 不 同 的课 题 中 ， 由 于 具 体 的
3、条 件 不 同 ， 解 决 的 方 法 也 不 尽 相 同 ， 因 而 字 符 识 别 的 研 究 仍 具 有 理 论 和实 践 意 义 。 这 里 讨 论 的 是 用 BP 神 经 网 络 对 2 6 个 英 文 字 母 的 识 别 ， BP网 络 算 法 是 学 者Rumelhart、 McClelland和 他 们 的 同 事 在 20世 纪 80年 代 中 期 提 出 的 多 层 前 馈 网 络MFNN(MutltilayerFeedforward Neural Networks)的 反 向 传 播 学 习 算 法 。 BP 网 络 是 对 非线 性 可 微 分 函 数 进 行 权 值
4、 训 练 的 多 层 前 向 网 络 。 。在 对 字 母 进 行 识 别 之 前 ， 需 要 将 字 母 进 行 预 处 理 ， 即 将 待 识 别 的 2 6 个 字 母 中 的 每 一 个字 母 都 通 过 的 方 格 形 式 进 行 数 字 化 处 理 ， 其 有 数 据 的 位 置 设 为 1 ， 其 他 位 置 设 为 -1 。 如 图 1给 出 了 字 母 A、 B 和 C 的 数 字 化 过 程 。 下 面 给 出 了 字 母 A 的 数 字 化 处 理 结 果 ， 是 用 一 个 1 *3 0向 量 表 示 ， 其 结 果 为 ：P0 3 0 =-1 ,-1 ,1 ,1 ,1
5、 ,1 ,-1 ,1 ,-1 ,1 ,-1 ,-1 ,1 ,-1 ,-1 ,1 ,-1 ,-1 ,-1 ,1 ,-1 ,1 ,-1 ,-1 ,-1 ,-1 ,1 ,1 ,1 ,1 ； 其 他 字 母 对 应 的向 量 也 做 类 似 的 处 理 。 最 终 的 标 准 输 入 矩 阵 P2 6 3 0 ,包 含 2 6 个 字 母 向 量 。2A B C图 1 字 母 数 字 化 样 式2、 网 络 的 初 始 设 计本 次 网 络 主 要 选 择 如 图 2所 示 的 网 络 结 构 ， 其 中 有 一 个 输 入 层 ， 一 个 隐 含 层 ， 一 个 输 出层 ， 网 络 结 构 为 3
6、0-30-1， 其 中 nenf 1 1)(1 ， nnf )(2 。图 2 网 络 结 构本 次 如 图 2 所 示 的 网 络 中 ， p 为 待 输 入 的 学 习 （ 识 别 ） 向 量 ， 因 为 每 个 字 母 都 有 3 0 个元 素 的 向 量 表 示 ， 所 以 p 的 维 数 为 3 0 *1 ， w1 为 第 一 层 权 值 ， 维 数 3 0 *3 0 ， w2 为 第 二 层 权 值 ，维 数 3 0 *1 ， b1 为 第 一 层 偏 值 ， 维 数 3 0 *1 ， b2 为 第 二 层 偏 值 ， 维 数 1 *1 ， a1 为 第 一 层 输 出 ，维 数 3
7、 0 *1 ， a2 为 网 络 最 后 的 输 出 ， 至 此 基 本 的 网 络 结 构 初 始 设 计 完 毕 。3、 初 始 化 各 项 参 数本 次 初 始 化 参 数 主 要 包 括 初 始 化 隐 含 层 第 一 层 的 权 值 w1 3 0 3 0 和 偏 置 值 b1 3 0 ， 初 始-1 -1 1 -1 -1-1 1 -1 1 -11 -1 -1 -1 11 1 1 1 11 -1 -1 -1 11 -1 -1 -1 1 -1 1 1 1 -11 -1 -1 -1 11 -1 -1 -1 -11 -1 -1 -1 -11 -1 -1 -1 1-1 1 1 1 -11 1
8、1 1 -11 -1 -1 -1 11 1 1 1 -11 -1 -1 -1 11 -1 -1 -1 11 1 1 1 -13换 隐 含 层 第 二 层 的 权 值 w2 3 0 和 偏 置 值 b2 ， 本 次 实 验 选 取 的 初 始 值 为 0 -0 .5 之 间 的 随 机 实 数 。其 中 随 机 实 数 可 以 通 过 调 用 JAVA 语 言 的 random()方 法 得 到 。 对 于 学 习 速 度 可 以 先 设 置 为 ： =0 .0 1 ， 当 然 ， 也 可 以 在 后 面 的 实 验 过 程 中 不 断 的 调 节 的 值 使 得 学 习 的 更 快 更 好 ，
9、 具 体代 码 实 现 见 附 录 。4、 前 向 传 播 设 计在 前 面 工 作 完 成 的 基 础 上 ， 首 先 需 要 根 据 BP 算 法 的 公 式 p0a 和 ）10111 baW(a f计 算 第 一 层 网 络 的 输 出 a1 ， 然 后 根 据 公 式 ）21222 baW(a f 计 算 出 最 后 输 出 层 的 a2 ， 这就 是 BP 神 经 网 络 的 前 向 传 播 过 程 。 最 后 根 据 2a-te 计 算 出 误 差 e， 具 体 代 码 实 现 见 附 录 。5、 敏 感 性 计 算由 于 在 计 算 敏 感 性 之 前 需 要 用 到 传 输 函
10、 数 的 导 数 ， 故 需 要 提 前 计 算 出 来 。 具 体 导 数 推 导如 式 （ 5 .1 ） 和 式 （ 5 .2 ） 所 示 ： )(1(1 11)1(1 1)( 1121 aaeeeedndnf nnnn （ 5 .1 ）1)()(2 ndndnf （ 5 .2 )然 后 根 据 式 （ 5 .1 ） 和 式 （ 5 .2 ） 可 以 得 到 s2 的 计 算 公 式 )(nF2-s 222 at ）（ 和 第 一 层敏 感 性 s1 的 计 算 公 式 22111 )w)(n(Fs sT ， 具 体 代 码 实 现 见 附 录 。6、 权 值 和 偏 值 的 更 新这 里
11、 需 要 用 到 我 之 前 设 置 的 学 习 速 度 ， 实 验 中 可 以 尝 试 修 改 的 值 ， 观 察 实 验 效 果 。具 体 的 权 值 偏 值 计 算 可 以 根 据 公 式 （ 6 .1 ） 、 公 式 （ 6 .2 ） 、 公 式 （ 6 .3 ） 、 公 式 （ 6 .4 ） 计 算 得 到 ，具 体 代 码 实 现 见 附 录 。 Tas )()0(w)1(w 1222 （ 6 .1 ）Tas )()0(w)1(w 0111 （ 6 .2 ）222 )0(b)1(b s （ 6 .3 ）111 )0(b)1(b s （ 6 .4 ）7、 测 试 网 络 性 能BP
12、算 法 需 要 不 停 地 迭 代 去 更 新 权 值 和 偏 置 直 至 某 次 迭 代 后 误 差 e 满 足 了 实 验 的 要 求 或4者 达 到 了 最 大 的 迭 代 次 数 。 学 习 后 预 期 的 效 果 应 当 是 当 使 用 训 练 样 本 给 BP 网 络 识 别 时 ， 它能 够 识 别 出 字 母 A-Z， 输 出 对 应 的 数 字 0 -2 5 ； 当 使 用 隐 藏 部 分 数 据 的 样 本 给 它 识 别 时 ， 如 果它 能 够 识 别 多 数 A-Z 破 损 数 据 ， 说 明 该 BP 网 络 的 抗 干 扰 、 容 错 能 力 较 强 ， 反 之
13、如 果 大 部 分无 法 识 别 ， 则 说 明 本 网 络 容 错 能 力 较 差 。三 、 实 验 结 果 展 示1、 实 验 一学 习 速 度 a=0 .1 ， 误 差 e=0 .0 1 ， 迭 代 次 数 m=2 0 0 0 ， 学 习 结 束 效 果 如 图 3 所 示 。图 3 实 验 一 结 果 部 分 展 示2、 实 验 二学 习 速 度 a=0 .0 1 ， 误 差 e=0 .0 1 ， 迭 代 次 数 m=2 0 0 0 ， 实 验 结 果 如 图 4 所 示 。5图 4 实 验 二 结 果 部 分 展 示3、 实 验 三学 习 速 度 a=0 .0 1 ， 误 差 e=0
14、 .0 0 0 1 ， 迭 代 次 数 m=2 0 0 0 ， 实 验 结 果 如 图 5 所 示 。6图 5 实 验 三 结 果 部 分 展 示4、 实 验 四学 习 速 度 a=0 .0 1 5 ， 误 差 e=0 .0 0 0 1 ， 迭 代 次 数 m=3 0 0 0 ， 实 验 结 果 如 图 6 所 示 。图 6 实 验 四 结 果 部 分 展 示通 过 观 察 四 次 实 验 的 效 果 图 可 以 清 楚 的 发 现 ， 学 习 速 度 ， 误 差 标 准 和 迭 代 次 数 对 识 别 的效 果 都 有 影 响 。 显 然 本 次 实 验 最 合 适 的 学 习 速 度 a=
15、0 .0 1 5 ， 可 以 发 现 当 学 习 速 度 不 变 时 ， 误差 选 取 的 越 小 ， 迭 代 次 数 越 大 ， 则 识 别 的 效 果 越 好 。5、 实 验 五为 了 简 单 的 验 证 一 下 BP 网 络 的 容 错 能 力 ， 下 面 进 行 实 验 五 ， 在 原 始 数 据 p 基 础 上 隐 藏最 后 一 行 （ 隐 藏 1 6 %） 进 行 识 别 ， 具 体 参 数 为 ： a=0 .0 1 5 ， e=0 .0 0 0 1 ， m=3 0 0 0 ， 实 验 结 果 如图 7 所 示 。7图 7 实 验 五 结 果 部 分 展 示由 图 7 可 以 发
16、现 ， 绝 大 部 分 破 碎 的 数 据 无 法 被 正 确 识 别 ， 小 部 分 字 母 可 以 被 识 别 。 因 此可 以 说 明 本 次 实 验 构 造 的 BP 网 络 的 容 错 性 较 差 。四 、 实 验 总 结本 次 实 验 主 要 实 现 基 于 BP 网 络 的 字 母 识 别 功 能 ， 通 过 实 验 我 深 入 了 解 了 BP 算 法 的 原理 ， 能 够 通 过 编 程 搭 建 一 个 简 单 的 BP 网 络 。 在 实 验 中 通 过 调 整 学 习 速 度 ， 迭 代 次 数 ， 误 差大 小 ， 实 现 了 对 BP 网 络 性 能 的 优 化 。通 过 本 次 实 验 ， 我 也 体 会 到 了 BP 算 法 还 有 有 它 很 大 的 局 限 性 的 ， 比 如 ： 训 练 次 数 多 使得 学
