《软件测评能力提升方案,》由会员分享,可在线阅读,更多相关《软件测评能力提升方案,(32页珍藏版)》请在金锄头文库上搜索。
1、软件测评工程能力提升方案软件测评工程能力提升方案咨询方将在上述调研报告基础上,提出详细的测评工程能力建设方案。方案的主要包括以下方面:1软件测试实用规程1.1 软件测试的认识软件测试的认识如前所述,目前软件测试领域的理论体系仍然不算成熟,软件测评专业能力建设本身是一个复杂的系统工程,牵涉的人员和环节众多,从调研结果来看,部分研发人员对测试的认识存在一些偏差,这将给软件测评专业建设带来风险。软件测评工程能力,首先是测试意识的提升。技术保障,观念先行,一个研发项目涉及的人员尤其是大多数的开发人员的测试意识是决定性的,只有将软件测试放到软件全生命周期的大背景下来考察,使全体人员对软件质量全程保证的角
2、度来重新认识测试,具体的测试方法、测试技能提升才有普遍意义。基础理论和方法论的普及,软件测试的本质、含义、定位和作用的深入认识,将是项目能否顺利开展的前提。软件测试本质上是一个证伪而不是证明的过程。因此,从广义上来说,只要是对软件本身质量保证相关的,都可以纳入软件测试的范围。无论是在软件研发的需求分析、架构设计、详细设计、代码实现还是后面的测试阶段,都可以开展测试活动;无论是系统设计人员、软件编程人员或者验证人员、服务人员、市场人员,都可以成为测试人员;也无论是文档评审、代码审查、功能调试、系统验证等等活动,都可以是一种测试活动;无论是人工验证、形式证明、代码静态分析工具、单元测试工具还是自动
3、化测试工具等手段,都可以成为有效的测试手段。只要有确定的人员,采用某种确定的方法手段,按照确定的项目内容,对影响软件质量的相关文档、代码、程序、数据等进行验证,都是执行了有意义的测试。经过这些验证活动之后,我们得出有条件的结论,这个条件是在这些项目内容验证之下,我们判断软件通过或者不通过测试。不通过(证伪)的时候,我们是可以很肯定地说这个有问题;但通过的时候,这种通过是有条件的。从软件全程质量保证的角度来看待软件测试,测试活动包含以下几层要求:1. 软件质量是满足规定或潜在的用户需求的能力,因此软件开发过程中,从用户显式或隐含的意思表达到形成用户规格书、再到设计文档、变成代码并调试运行的过程,
4、最重要的就是保证在这样一个复杂的转换过程中,需求的不被异化。2. 软件作为一个产品,是用来满足用户需求的,从这个角度来说,需要测量的是在特定环境下运行达到其任务目标的程度,但软件本身是一组文档、数据和代码的总和,其中最直接的是代码,从这个角度来说,作为一个产品本身,也需要从机械的符号角度对其内生的质量进行度量和评价。3. 软件的生产过程是一个工程,对应的测试活动有其工程属性,既然测试活动本身不能证明,只能证伪,测试活动则更需要明确测试界限,给出工程上合理的进度、资源、方法和结束条件。采用的测试方法就必须回答如何保证需求不被异化,如何从动态和静态两个角度来评估软件质量,以及如何明确测试界限的问题
5、,而这又必然需要通过一定的技术手段才能得到有效地支撑。在这种广义的软件质量保证的含义下,我们来重新审视软件全生命周期尤其是研发周期,就会发现,专门的软件测试人员承担的软件质量保证职责是有限的,一个研发项目中占大多数的研发人员,他们的测试意识,对测试活动、测试方法的认识是很关键的。因此,测评工程能力的提升,首先要通过培训、宣传、会议等各种手段,让项目涉及的相关人员尤其是软件开发人员,重新认识软件研发过程,重新认识软件测试,包括测试本质、测试含义、测试定位、测试方法等等。1.2 软件测试方法软件测试方法对应上述测试活动的理解,测试方法也首先是一套逻辑严密的需求覆盖体系和分析设计方法,具体表现为测试
6、阶段覆盖的完整性、每个阶段测试分析的完整性、每个阶段测试分析的过程完整性保证,然后才是在此之上的一些操作手段和工具应用技能,同时在管理层面,需要有明确测试界限的一系列手段。一、 测试阶段划分如前所述,一个明确的软件测试项目包括前期的文档测试,按照软件开发过程包含软件需求分析说明书验证、软件设计文档验证;另外一个是后期动态的单元测试、集成测试、系统测试、验收测试,这时主要的测试对象是程序和数据,当然也涉及到文档。对于这些测试阶段,应制定规范,对其测试类型、测试技术要求等明确要求。这方面,在军方、航空航天等领域有许多规范就可供参考。实际实施时,规范应根据不同软件类型的重要性、安全性关键等级提供剪裁
7、。对应每一阶段的要求分别说明如下:1、文档测试文档测试的主要测试对象是软件需求规格说明书和软件设计文档。文档通常使用文字进行说明,因此不可避免地具有而二义性和不明确性。软件测试中的文档测试主要是对相关的设计报告和用户使用说明等文档进行测试,一般应符合以下的技术要求: 对于设计报告主要是测试程序与设计报告中的设计思想是否一致; 对于用户使用说明进行测试时,主要是测试用户使用说明书中对程序操作方法的描述是否正确,重点是用户使用说明中提到的操作例子要进行测试,保证采用的例子能够在程序中正确完成操作。 对于其他文档,一般检查其有效性和无误性。2、单元测试单元测试的对象是软件单元。软件单元测试应根据软件
8、单元的重要性、安全性关键等级等对如下技术要求内容进行剪裁,但必须说明理由。单元测试一般应符合以下的技术要求: 在对软件单元进行动态测试之前,应对软件单元的源代码进行静态测试; 应建立测试软件单元的环境,其测试环境应通过评审; 对软件设计文档规定的软件单元的功能、性能、接口等应逐项进行测试; 软件单元的每个特性应至少被一个正常测试用例和一个被认可的异常测试用例覆盖; 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值; 语句覆盖率要达到 100%; 分支覆盖率要达到 100%; 对输出数据及其格式进行测试。3、集成测试集成测试的对象是软件组件,软件组件由软件单元组成。软件集成测试可根
9、据软件组件的重要性、安全性关键等级、重用情况等对如下技术要求内容进行剪裁,但必须说明理由。集成测试一般应符合以下技术要求: 应对构成软件组件的每个软件单元的单元测试情况进行检查; 若对软件组件进行必要的静态测试,应先于动态测试; 组装过程是动态进行的,应标明组装策略; 应建立组件测试环境,其测试环境应通过评审; 应逐项测试软件设计文档规定的软件组件的功能、性能等特性; 软件组件的每个特性应至少被一个正常的测试用例和一个被认可的异常测试用例覆盖; 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值; 应测试软件单元和软件组件之间的所有调用,达到要求的测试覆盖率; 应测试软件组件的输出
10、数据及其格式; 应测试软件组件之间、软件组件和硬件之间的所有接口; 应测试运行条件在边界状态下,进而在人为设定的状态下,软件组件的功能和性能; 应按设计文档要求,对软件组件的功能、性能进行强度测试; 对安全性关键的软件组件,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试。 发现有否多余的软件单元。4、系统测试系统测试的对象是完整的、集成的计算机系统(Computer System) ,重点是新开发的配置项的集合。系统测试是组成系统的多个配置项的测试,组成一个系统的多个相关的软件可以同时进行系统测试。系统测试一般应符合以下技术要求: 应按系统/子系统设计说明
11、的规定,逐项测试系统的功能、性能等特性; 系统的每个特性应至少被一个正常测试用例和一个被认可的异常测试用例所覆盖; 测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值; 应测试系统的输出及其格式; 应测试配置项之间及配置项与硬件之间的所有接口; 应在边界状态、异常状态或在人为设定的状态的运行条件下,测试系统的功能和性能; 应测试系统的安全性和数据访问的安全保密性; 应测试系统的全部存储量、输入/输出通道的吞吐能力和处理时间的余量; 应按系统或子系统设计文档的要求,对系统的功能、性能进行强度测试; 应测试人机交互界面提供的操作和显示界面,包括测试界面的可靠性; 应测试设计中用于提高系
12、统安全性和可靠性的方案; 对安全性关键的系统,应对其进行安全性分析,明确每一个危险状态和导致危险的可能原因,并对此进行针对性的测试。 对有恢复或重置功能需求的系统,应测试其恢复或重置功能和平均恢复时间,且对每一类导致恢复或重置的情况进行测试。 对软件系统的安装性进行测试; 对不同的实际问题应外加相应的专项测试。5、验收测试验收测试是按照项目任务书或合同、供需双方约定的测试依据文档进行的对整个系统的测试,以决定是否接收或拒收系统。其基本要求和系统测试类似。二、 测试类型分析测试活动的每个阶段,都有不同的特点和要求,但至关重要的是保证测试分析方法的完整性,需要理解测试对象、测试的基本特点,确定测试
13、的基本特征,提取共性。例如,在军用测试领域就有一套已经形成完整的测试分析方法体系,包括 22种测试类型,在测试设计时应首先对照其要求进行分析,分别简要介绍如下。 文档审查:是对提交的文档的完整性、一致性和准确性所进行的检查。文档审查应确定审查所用的检查单,而且为适应不同的文档审查,需要用不同的检查单,检查单的设计或采用应经过评审并得到委托方的确认。 可测试性审查:主要是对开发的软件文档、软件设计的可测试性进行审核,包括软件文档是否符合可测性、软件设计是否具有可测试性、代码是否符合可测性等方面的审查。 代码审查:是检查代码和设计的一致性、代码执行标准的情况、代码逻辑表达的正确性、代码结构的合理性
14、以及代码的可读性。代码审查应根据所使用的语言和编码规范确定审查所用的检查单,检查单的设计或采用应经过评审并得到委托方的确认。 静态分析:是一种对代码的机械性和程序化的特性分析方法。 代码走查:由测试人员组成小组,准备一批有代表性的测试用例,集体扮演计算机的角色,沿程序的逻辑,逐步运行测试用例,查找被测软件缺陷。 逻辑测试:主要测试程序逻辑结构的合理性、实现的正确性。逻辑测试应由测试人员利用程序内部的逻辑结构及有关信息,设计或选择测试用例,对程序所有逻辑路径进行测试,通过在不同点检查程序的状态,确定实际的状态是否与预期的状态一致。 功能测试:主要对软件需求规格说明或设计文档中的功能需求逐项进行的
15、测试,验证其功能是否满足要求。功能测试一般需进行: 性能测试:对软件需求规格说明或设计文档中的性能需求逐项进行的测试,验证其性能是否满足要求。 接口测试:对软件需求规格说明或设计文档中的接口需求逐项进行的测试。 人机交互界面测试:是指对所有人机交互界面提供的操作和显示界面进行的测试,检验是否满足用户的要求。 强度测试:强制软件运行在不正常到发生故障的情况下检验软件可以运行到何种程度的测试。 可靠性测试:在真实的或仿真的环境中,为做出软件可靠性估计而对软件进行的功能测试。可靠性测试中必须按照运行剖面和使用的概率分布随机地选择测试用例。 安全性测试:检验软件中已存在的安全性、安全保密性措施是否有效
16、的测试,测试应尽可能在符合实际使用的条件下进行。 恢复性测试:对有恢复或重置功能的软件的每一类导致恢复或重置的情况逐一进行的测试,验证其恢复或重置功能。恢复性测试是要证实在克服硬件故障后系统能否正常地继续进行工作,且不对系统造成任何损害。 边界测试:对软件处在边界或端点情况下运行状态的测试。 数据处理测试:对完成专门数据处理功能所进行的测试。 安装性测试:对安装过程是否符合安装规程的测试,以发现安装过程中的错误。 互操作性测试:是为验证不同软件之间的互操作能力而进行的测试。 敏感性测试:是为发现在有效输入类中,可能引起某种不稳定性或不正常处理的某些数据的组合而进行的测试。 标准符合性测试:验证软件与相关国家标准或规范(如国家标准、行业标准以及国际标准)一致性的测试。 兼容性测试:主要是验证被测软件在不同版本之间的兼容性。有两类基本的兼容性测试:一类是向下兼容测试,向下兼容是测试软件新版本保留它早期版本的功能的情况;另一类是交错兼容测试,交错兼容测试是要验证共同存在的