《2022面向大数据应用的就绪可用软件产品质量要求和测试细则》由会员分享,可在线阅读,更多相关《2022面向大数据应用的就绪可用软件产品质量要求和测试细则(14页珍藏版)》请在金锄头文库上搜索。
1、面向大数据应用的就绪可用软件产品质量要求和测试细则目次前言II1 范围12 规范性引用文件13 术语和定义14 缩略语35 符合性36 软件质量要求37 数据要求88 测试环境99 测试文档集要求910 符合性评价细则12I面向大数据应用的就绪可用软件产品质量要求和测试细则1 范围本文件规定了面向大数据应用的就绪可用软件产品的术语和定义、缩略语、符合性、软件质量要求、数据要求、测试环境、测试文档集要求、符合性评价细则。本文件适用于面向大数据应用的就绪可用软件产品的质量要求和测试。2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件, 仅该日期
2、对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T 20271-2006 信息安全技术 信息系统通用安全技术要求GB/T 25000.51-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则GB/T 36344-2018 信息技术 数据质量评价指标3 术语和定义GB/T 25000.51-2016界定的以及下列术语和定义适用于本文件。3.1需 方 acquirer从供方获取或采购产品或服务的利益相关方。需方可能是以下之一:买主、顾客、拥有者、采购者。来源:ISO/IEC
3、12207:20083.2异 常 anomaly与基于需求规格说明、设计文档和标准等的期望值的偏离或与某个人的感知或经验的任何条件的偏离。来源:IEEE std 1044-20093.3应用管理职能 application administration function由用户履行的职能,包括安装、配置、备份、维护(打补丁和升级)、卸载等。13.4符合性评价 conformity evaluation对产品、过程或服务达到规定要求的程度所进行的系统性考核。来源:ISO/IEC GUIDE 2:20043.5符合性评价报告 conformity evaluation report说明对RUSP实施
4、评价的行为和结果的文档。3.6面向大数据应用的就绪可用软件产品 ready to use software product big data application oriented无论是否付费,任何用户可以不经历开发活动就能获得的基于大数据相关应用的软件产品。3.7就绪可用软件产品 ready to use software product无论是否付费,任何用户可以不经历开发活动就能获得的软件产品。3.8最终用户 end user最终受益于RUSP功能的个人。注:最终用户可以是软件产品的正式操作员;或是临时用户,例如公众中的一员。来源:GB/T 25000.12010,4.143.9故 障
5、fault计算机程序中不正确的步骤、过程或数据定义。来源:IEEE std 610.1219983.10测试用例 test case为某个特定目标(例如,为演练具体的程序路径或验证对特定需求的依从性)而开发的输入、执行条件以及预期结果的集合。来源:IEEE std 610.12199823.11测试文档集 test documentation测试活动特有的文档汇集。 来源:IEEE std 610.1219984 缩略语下列缩略语适用于本文件。RUSP:就绪可用软件产品(Ready to Use Software Product)RUSPBDAO:面向大数据应用的就绪可用软件产品(Ready
6、to use software product Big data application oriented)5 符合性RUSPBDAO应符合以下条件:a) 应符合第 6 章和第 7 章中规定的质量属性;b) 应符合第 8 章要求的测试文档集进行测试;c) 测试期间发现的异常,可在产品发布前消除;d) 若该异常违背产品广告宣传的性能,且不能消除,则应取消此种性能声称;e) 如供方已考虑了该异常的性质和对潜在需方的影响,并将有关异常的文档保存以备日后改进, 可认为该异常是可接受的。6 软件质量要求6.1 功能性6.1.1 测试项功能性测试应对照大数据就绪可用软件产品设计说明中的功能点,逐项对其进行
7、测试用例设计,测试用例设计应满足以下几个方面:a) 每个功能特性应被一个或多个正常测试用例和一个或多个被认可的异常测试用例所覆盖;b) 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值;c) 逐项测试大数据就绪可用软件产品设计说明规定的功能特性;d) 测试软件产品配置项之间及软件配置项与硬件之间的接口;e) 测试软件产品输出及其格式。6.1.2 功能完备性功能集对指定的任务、用户目标、数据质量,应覆盖功能用户的需求。注1:功能可以在需求规格说明、设计规格说明、用户手册中进行指定。注2:当软件产品无法实现指定的功能时,即检测到缺少的功能。注3:功能包括对数据质量的要求。36.1.3
8、 功能正确性在特定的使用条件下,应提供具有所需精度的正确结果。注1:不正确的功能是指功能无法给出达到特定预期目标的合理、可接受的结果。注2:开发方或维护方可能通过评审或测试检查单个功能,并决定功能能否为需求规格说明中定义的特定的目标提供正确的结果。在这种情况下,正确性的程度是由每个功能决定的。6.1.4 功能适合性在指定条件下使用时,应促使指定的任务和目标实现。6.1.5 依从性产品应遵循与功能性相关的标准、约定或法规以及类似规定。6.1.6 测试过程下列测试过程适用于RUSPBDAO的功能性测试:a) 根据需求规格说明书、概要设计等相关软件设计说明书,分析并拆分软件产品功能点;b) 根据拆分
9、的功能点,采用“黑盒测试”方法逐一设计测试用例,测试用例应覆盖所有功能点, 覆盖率应达到 100%;c) 根据软件产品相关设计说明,编制每条测试用例的执行步骤、测试结果;d) 执行每条测试用例;e) 检验执行结果是否满足测试用例预期结果;f) 根据执行结果填写执行记录和缺陷报告。6.2 可靠性6.2.1 成熟性软件或组件在正常运行时应满足可靠性要求。注:测试指标可包括故障修复率、平均失效间隔时间、周期失效率、执行系统或软件能力、运行场景或功能与预期系统或软件能力、运行场景或功能的比例等。6.2.2 容错性当存在硬件或软件故障时,软件或组件的运行应符合预期。测试参数可包括避免失效率、组件的冗余度
10、、平均故障通告时间等。注:内部或外部容错性测度与发生运行故障或违反规定接口时,软件产品维持规定性能水平的能力有关。6.2.3 易恢复性发生中断或失效时,软件能够恢复直接受影响的数据并重建期望的系统状态。注:测试指标可包括软件从失效中恢复需要的时间,以及定期备份数据项的比例。6.2.4 测试过程下列测试过程适用于可靠性:a) 软件产品操作过程中出现误操作,包括填写表单超出限制范围,违反业务逻辑等;b) 记录检测过程中软件产品出现的故障及故障纠正数量;c) 当出现宕机及服务停止时,记录系统恢复运行的时长,恢复后是否能正常运行,数据是否丢失;4d) 在满足最大并发数量且在选定好的测试场景下,持续对服
11、务端进行业务请求,查看服务端运行情况;e) 软件产品在多台终端上,通过自动化测试手段持续运行,查看其运行情况。6.3 易用性在指定使用周境中,软件在有效性、效率和满意度特性方面,为了达到所指定的目标,应可被特定用户使用。注: 易用性既可以从它的子特性角度当作产品质量特性来进行指定或测量,也可以直接通过测度(使用质量的子集) 来进行指定或测量。6.3.1 可辨识性应确保用户能够辨识软件是否适合其要求。6.3.2 易学性在指定使用周境中,软件在有效性、效率、抗风险和满意度特性方面,为了学习使用该软件这一指定目标,应可为指定用户使用。注:测试指标可包括用户指导完整性、输入字段的默认值设置、差错信息的
12、易理解性、用户界面的自解释性等。6.3.3 易操作性软件应具有易于操作和控制的属性。注:测试指标可包括操作的一致性、消息的正确性、功能的易定制性、用户界面的易定制性、监视能力、撤销操作能力、消息分类的易理解性、外观的一致性、输入设备的支持性等。6.3.4 易访问性在指定的使用周境中,为了达到指定的目标,软件应被具有最广泛的特征和能力的个体所使用。6.3.5 测试过程下列测试过程适用于易用性测试:a) 查看用户手册内容,操作软件产品过程中查看页面布局,查看输入输出项的易理解性;b) 查看用户手册、培训手册、系统文档,查看文档能否帮助用户学习操作;c) 检测过程对表单输入边界值外的数据,查看软件产
13、品所有提示语及页面风格一致性,是否能使用键盘快捷键;d) 检测过程中查看软件产品页面所有的元素是否美观,具备吸引性。6.4 性能效率6.4.1 测试项RUSPBDAO运行一段时间内,应满足需求设计说明规定的测试场景、服务器资源、并发用户数量的同时,应测试其所能承受压力的强度,包括但不限于:a) 响应时间:服务端响应事务的平均时长;b) 每秒处理事务数:服务端每秒处理事务的数量;c) 事务通过率:服务端处理事务的成功率;5d) CPU 占用率:服务端在处理事务时,服务器 CPU 占用情况;e) 内存占用率:服务端在处理事务时,服务器内存占用情况;f) 硬盘 I/O 读写:服务端在处理事务时,服务
14、器硬盘读写情况。6.4.2 时间特性软件时间特性应满足以下几方面要求:a) 软件执行其功能时,其响应时间、处理时间及吞吐量应满足用户需求;b) 测试响应时间特性,测试软件响应一个用户任务或系统任务的平均时间,或测试软件响应时间应满足规定目标;c) 测试处理时间特性,测试软件完成一个作业或一个异步进程的平均时间,或处理时间应满足规定目标;d) 测试吞吐量特性,测试软件单位时间内完成作业的平均数量应满足规定目标。6.4.3 容量软件参数的最大限度应满足需求。a) 测试指标可包括存储数据项数量、并发用户访问量、用户访问增长的充分性、通信带宽、交易吞吐量和数据库规模。b) 资源利用性c) 软件执行其功能时,所使用的资源数量和类型应满足需求。d) 测试指标包括处理器平均占用率、内存平均占用率、I/O 设备平均占用率、宽带占用率。6.4.4 测试过程下列测试过程适用于性能(效率)测试:a) 模拟测试场景操作步骤,与