基于大数据的语音识别效果测试和优化

《基于大数据的语音识别效果测试和优化》由会员分享，可在线阅读，更多相关《基于大数据的语音识别效果测试和优化（20页珍藏版）》请在金锄头文库上搜索。

1、全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 基于大数据的语音识别效果测试和优化基于大数据的语音识别效果测试和优化 程美 科大讯飞效果测试专家 2014年11月 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 引言 1 效果测试的前世今生 效果测试体系 2 构筑系统化的基于大数据的效果测试体系 迭代的效果优化 3 测试驱动优化，产品从实验走入实用 效果评价带来的思考 4 评价标准必不可少，推动测试标准的落地 目录CONTENTS 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE

2、YEAR 引言引言效果测试的演进效果测试的演进 语音测试集 效果指标 达到pass 设计表格 体验demo 体验人员 结果统计 语音云现网 真实用户数据 识别指标 分析报告 最好的引擎 真实用户 使用数据分析 效果提升 整体报告 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 视频业务视频业务 TOP1 46% 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 引言引言语音大数据的支撑语音大数据的支撑 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系体系效果测试分类效

3、果测试分类 原型一致性 集成一致性 产品可用性 上线前 现网效果分析 效果主观体验 竞品对比分析 上线后 用户 优化团队 研发 测试 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系体系效果测试流程效果测试流程 问题发现问题发现 客户反馈 产品组内 部测试发 现 问题确认 问题分组 方法选型方法选型 根据问题 类别，选 择对应的 测试方法 评价指标 确认 方案设计方案设计 针对性的 效果测试 用例设计 测试环境 和工具准 备 测试集标 注标准 效果测试效果测试 执行效果 测试用例 统计效果 指标 对效果问 题进行分 析 反馈优化反馈优化 报告问题

4、针对性给 出解决方 法 迭代进行 优化 立即上线 和解决 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系之一体系之一问题发现问题发现 问题来源 外部用户反馈 内部用户反馈 客户新需求 竞品新功能 问题确认 是否是问题 是否能解决 谁的问题 影响范围 相关资料 效果问题跟踪 表 相关资料 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系之二体系之二测试集建设测试集建设 数据来源 用户现网数据 内部设计数据 数据标注 标注策略 标注计划 相关资料 标注集 标注标准 相关资料 全球软件案例研究 峰会 TOP

5、 100 CASE STUDIES OF THE YEAR 体系之三体系之三测试集建设测试集建设-设计测试集设计测试集 Prevalent voice usages (guided % mix of the open dictation utterances for each speaker ) Sentence Group (guided % mix in each voice usages) Online Chatting (50%) Chinese（80%） Chinese + Number（10%） Chinese + English（5%） Number（5%） Micro-blog

6、ging (30%) Chinese（80%） Chinese + Number（10%） Chinese + English（5%） Number（5%） Internet Search (20%) Chinese（80%） Chinese + Number（10%） Chinese + English（5%） Number（5%） Voice CommandsChinese (100%) MaleFemale Age Group (years old) / Accent Region 16-2021-40 41-6516-2021-40 41-65 Cantonese1.80%3.76%1

7、.20%1.47%3.08%0.98% Gan0.31%0.65%0.21%0.25%0.53%0.17% Hakka0.76%1.60%0.51%0.63%1.31%0.42% Min0.60%1.25%0.40%0.49%1.03%0.33% Northern8.25%17.28%5.49%6.75%14.14%4.49% Wu2.36%4.93%1.57%1.90%4.04%1.28% Xiang0.55%1.16%0.37%0.45%0.95%0.30% 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系之五体系之五反馈优化反馈优化 总体情况

8、：总体情况： 1）本期的总体识别率属于正常水平，在比较纯的安静环境（去除了噪声等声学）本期的总体识别率属于正常水平，在比较纯的安静环境（去除了噪声等声学 层面的干扰和人名个性化、特殊词汇等语言模型层面的干扰）中，可接受句正确层面的干扰和人名个性化、特殊词汇等语言模型层面的干扰）中，可接受句正确 率接近率接近80%。 2）噪声鲁棒性和特殊词汇需要加强优化。）噪声鲁棒性和特殊词汇需要加强优化。 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 体系附加一体系附加一效果测试的自动化效果测试的自动化 全球软件案例研究 峰会 TOP 100 CASE STUDIE

9、S OF THE YEAR 体系附加二体系附加二专业的真实场景模拟专业的真实场景模拟 车载测试使用环境车载测试使用环境 序序 号号 车速窗户外部环境内部环境 效果 等级 降噪 回声 消除 主观 体验 备注 1非行驶关窗停车场关空调A 2非行驶关窗停车场空调中档A 3非行驶关窗停车场空调高档B 4非行驶开窗停车场关空调A 5非行驶开天窗停车场关空调A 6非行驶关窗闹市区关空调A 7非行驶关窗闹市区空调中档A 8非行驶关窗闹市区空调高档B 9非行驶开窗闹市区关空调A 10非行驶开天窗闹市区关空调A 11=40km/h关窗闹市区关空调A 12=40km/h半开窗闹市区关空调A 13=40km/h开窗

10、闹市区关空调B 14=40km/h关窗闹市区空调中档A 15=40km/h关窗闹市区空调高档B 16=40km/h开天窗闹市区关空调B 1741-60km/h关窗郊区关空调A 1841-60km/h半开窗郊区关空调B 1941-60km/h开窗郊区关空调B 2041-60km/h关窗郊区空调中档A 2141-60km/h关窗郊区空调高档B 2241-60km/h开天窗郊区关空调A 2361-80km/h关窗高架关空调A 2461-80km/h半开窗高架关空调B 2561-80km/h开窗高架关空调B 2661-80km/h关窗高架空调中档A 2761-80km/h关窗高架空调高档B 2861-

11、80km/h开天窗高架关空调B 2980-120km/h关窗高速空调中档B 30办公室A 31会议室A 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 优化优化 优化的可行性优化的可行性 基于领先的语音核心算法（环境抗噪、深度学习、 超大解码、口音自适应） 基于云计算的工程平台（10cpu核-几千核） 超大规模的语音数据（样本从1万人-几百万人） 便捷的训练流程(傻瓜式全自动，掌握门槛低) 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 优化优化 优化的可行性优化的可行性-工具工具1 结构化日志数据 统一的数据

12、存储 快速检索和抽取 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 优化优化 优化的可行性优化的可行性-工具工具2 兼职数据制作平台 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 优化优化 语音交互的强大生命力语音交互的强大生命力 移动互联设备 的数量巨大， 自然交互舍我 其谁，拥有巨 大市场空间 云计算解决 了计算量和 电池问题， 使大规模使 用成为可能 基于统计模 式的只能方式 扩充了应用人 群，降低了门 槛 不断积累的 大数据使只 能交互可以 不断自我进 化 大智 移云 全球软件案例研究 峰会 TOP

13、 100 CASE STUDIES OF THE YEAR 优化优化 收益收益 基于大数据处理基于大数据处理相对错误率相对错误率 在数万小时语音库上，基于置信度估计实现无监督训练10% 自动挑选数千小时带噪、方言口音加入训练10%-20% 针对不同应用的语音识别优化10%-20% 基于用户语音数据的个性化识别5%-25% 基于海量用户的识别多候选的弱监督训练10%-15% 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 优化 每日小更新，每月大更新优化 每日小更新，每月大更新 每日热词的1-2次更新 每月主模型更新 - 用户个性化 应用个性化 灰度现网环境 灰度实验环境 用户体验组 外部粉丝用户 每周的竞品对比 每周的现网效果分析报告 全球软件案例研究 峰会 TOP 100 CASE STUDIES OF THE YEAR 标准标准 测试过程中，注 意测试方法的规范 化，便于后期形成 行业或国标。