China WLLC Communication Lab. 1软件评测北京通和实益电信科学技术研究所有限公司 信息产业数据通信产品质量监督检验中心 威尔克实验室彭博 pb_1212@China WLLC Communication Lab. 2中 心 简 介•北京通和实益电信科学技术研究所有限公司成立于2003年1月，同时成立威 尔克实验室，公司所属的信息产业数据通信产品质量监督检验中心成立于 1990年，归工业和信息化部管理公司股东为数据所•作为第三方检测机构，主要业务是为工业与信息化部业务主管部门提供技 术支撑、执行电信产品的工信部进网检验、为国内外电信设备制造商、电 信运营商、设备制造商、软件制造商等各行业用户提供各种第三方检测/验 收/标准方案制定、网络安全防护评测和软件功能/效率/可靠性/易用性/可维 护性评测等，产品范围覆盖各类无线和有线电信设备、网络、标准、技术 、业务和应用软件等在测试行业和通信行业中具有非常高的知名度，尤 其软件评测方面。
•数据所成立于1972年11月2日，是我国最早从事数据通信技术研究及设备制 造的专业研究所之一，现作为工信部电信科学技术研究院的所属单位，由 国务院国有资产监督管理委员会管理China WLLC Communication Lab. 3CCSA标准• GB/T 2500.51-2010《软件工程 软件产品质量要求与评价（SQuaRE） 商业现货（COTS）软件产品的质量要求和测试细则》China WLLC Communication Lab. 4软件质量与软件测试• 软件质量是指软件的功能和性能满足用户需求和期望的 程度，是软件的一种内在特性软件测试则是通过技术 、流程、工具、人员以及管理手段，检测软件文档、软 件中间产品和最终产品，查找和报告软件缺陷、错误以 及隐患的技艺通过跟踪缺陷、错误及隐患的修正过程 ，确保软件产品、中间产品和文档符合软件工程过程需 求和用户的最终需求China WLLC Communication Lab. 5软件质量与软件测试• 软件测试就是利用测试工具按照测试方案和流程对产品 进行功能和性能测试，甚至根据需要编写不同的测试工 具，设计和维护测试系统，对测试方案可能出现的问题 进行分析和评估。
执行测试用例后，需要跟踪故障，以 确保开发的产品适合需求China WLLC Communication Lab. 6软件质量与软件测试• 软件测试是改进软件组织管理过程、提高软件质量的必 要途径软件测试过程是提取软件测试过程中可计量的 属性，在测试过程进行中以一定频度不断地采集这些属 性的值，并采用一些恰当的分析方法对得到的这些数据 进行分析，从而量化地评定测试过程的能力和性能，提 高测试过程的可视性，帮助软件组织管理以及改进软件 测试过程China WLLC Communication Lab. 7软件质量与软件测试• 随着软件应用的领域不断深入，设计的复杂程度逐步扩 大，开发的周期不断缩短，质量的要求水涨船高，软件 企业也面临着巨大挑战因此，加强软件测试过程和技 术，可以有效保证软件质量，这种观念正在被更多的软 件企业人士理解、接受和实施，也是软件企业快速发展 的必经之道China WLLC Communication Lab. 8软件缺陷• 软件测试使用各种术语描述软件出现的问题，通用的术 语如下： • 软件错误（software error） • 软件缺陷（software defect） • 软件故障（software fault） • 软件失效（software failure） • 软件失效的机理可描述为：软件错误→软件缺陷→软件 故障→软件失效China WLLC Communication Lab. 9软件缺陷•1、软件错误：在可以预见的时期内，软件仍将由人来开发。
在整个软件生 存期的各个阶段，都贯穿者人的直接或间接的干预然而，人难免犯错误 ，这必然给软件留下不良的痕迹软件错误是指在软件生存期内的不希望 或不可接受的人为错误，其结果是导致软件缺陷的产生可见，软件错误 是一种人为过程，相对于软件本身，是一种外部行为 •2、软件缺陷：软件缺陷是存在于软件（文档、数据、程序）之中的那些不 希望或不可接受的偏差，如少一个逗号、多一语句等其结果是软件运行 于某一特定条件时出现软件故障，这时称软件缺陷被激活 •3、软件故障：软件故障是指软件运行过程中出现的一种不希望或不可接受 的内部状态譬如，软件处于执行一个多余循环过程时，我们说软件出现 故障此时若无时当的措施（容错）加以及时处理，便产生软件失效显 然，软件故障是一种动态行为 •4、软件失效：软件失效是指软件运行时产生 的一种不希望或不可接受的外 部行为结果China WLLC Communication Lab. 10软件缺陷• 软件缺陷（Defect），常常又被叫做Bug所谓软件缺陷 ，即为计算机软件或程序中存在的某种破坏正常运行能 力的问题、错误，或者隐藏的功能缺陷。
缺陷的存在会 导致软件产品在某种程度上不能满足用户的需要 • 从产品内部看，缺陷是软件产品开发或维护过程中存在 的错误、毛病等各种问题； • 从产品外部看，缺陷是系统所需要实现的某种功能的失 效或违背China WLLC Communication Lab. 11软件缺陷• 一旦发现软件缺陷，就要设法找到引起这个缺陷的原因 ，分析对产品质量的影响，然后确定软件缺陷的严重性 和处理这个缺陷的优先级各种缺陷所造成的后果是不 一样的，有的仅仅是不方便，有的可能是灾难性的一 般问题越严重，其处理优先级就越高China WLLC Communication Lab. 12软件缺陷•对于缺陷的严重性，如果分为4级，则可以参考下面的方法确定： • 1 – 非常严重的缺陷，例如，软件的意外退出甚至操作系统崩溃，造成 数据丢失2 – 较严重的缺陷，例如，软件的某个菜单不起作用或者产生错误的结 果；3 – 软件一般缺陷，例如，本地化软件的某些字符没有翻译或者翻译不 准确；4 – 软件界面的细微缺陷，例如，某个控件没有对齐，某个标点符号丢 失等； •对于缺陷的优先性，如果分为4级，则可以参考下面的方法确定： • 1 –最高优先级，例如，软件的主要功能错误或者造成软件崩溃，数据 丢失的缺陷。
2 – 较高优先级，例如，影响软件功能和性能的一般缺陷；3 –一般优先级，例如，本地化软件的某些字符没有翻译或者翻译不准 确的缺陷；4 – 低优先级，例如，对软件的质量影响非常轻微或出现几率很低的缺 陷；China WLLC Communication Lab. 13软件缺陷导致严重后果的典型案例• 2009年2月份Google的Gmail故障 2009年2月份Google的 Gmail故障，Gmail用户几小时不能访问邮箱，应该算是 最近因软件故障而受到广泛关注的事件据Google后称 ，那次故障是因数据中心之间的负载均衡软件的Bug引发 的 • 1996年6月4日，阿丽亚娜5型运载火箭的首航，原计划将 运送4颗太阳风观察卫星到预定轨道，但因软件引发的问 题导致火箭在发射39秒后偏轨，从而激活了火箭的自我 摧毁装置阿丽亚娜5型火箭和其他卫星在瞬间灰飞烟灭 后来查明的事故原因是：代码重用阿5型的发射系 统代码直接重用了阿4型的相应代码，而阿4型的飞行条 件和阿5型的飞行条件截然不同此次事故损失3.7亿美 元。
China WLLC Communication Lab. 14软件缺陷导致严重后果的典型案例• 2011 年温州7.23 动车事故 2011年7月23日20时30分05秒 ，甬温线浙江省温州市境内，由北京南站开往福州站的 D301次列车与杭州站开往福州南站的D3115次列车发生 动车组列车追尾事故，造成40人死亡、172人受伤，中断 行车32小时35分，直接经济损失19371.65万元 • 上海铁路局局长安路生28日说，根据初步掌握的情况分 析，“7·23”动车事故是由于温州南站信号设备在设计上存 在严重缺陷，遭雷击发生故障后，导致本应显示为红灯 的区间信号机错误显示为绿灯China WLLC Communication Lab. 15测试范围•功能测试 •可靠性测试 •易用性测试 •效率测试 •维护性测试 •可移植性测试 •流程测试 •边界值测试 •容错性测试 •异常测试 •文挡测试•启动停止测试 •安装测试 •界面测试 •接口测试 •配置测试 •安全性和访问控制测试 •性能测试 •压力测试 •兼容性测试 •割接/升级测试•回归测试China WLLC Communication Lab. 16测试工具• 一、自动化测试工具--QTP •QTP工具是Quicktest Professional的简称，是 HP公司发布的一款企业级自动化测试工具，使 用QTP工具将功能测试中重复使用的测试用例自 动化，可以大幅度提高回归测试效率，提高回归 测试质量的目的。
• QTP进行功能测试的测试流程为 [制定测试 计划]——>[创建测试脚本]——>[增强测试脚本 功能]——>[运行测试]——>[分析测试结果] 大致 五个步骤China WLLC Communication Lab. 17测试工具• QTP工具的优势为：1）QTP是一个侧重。