《非功能性测试的指南》由会员分享，可在线阅读，更多相关《非功能性测试的指南（12页珍藏版）》请在金锄头文库上搜索。
1、非功能性测试指南非功能性测试指南初始版本1.02012/08/13 / - 文档信息 -上海银行测试体系咨询1.0张红辉2010/3/31- 变更记录1.0初始版本2010/3/31张红辉- 审批人- 评审记录目 录1目的和范围42术语和缩写43参考资料44角色对应关系55非功能性测试类型及其测试方法55.1安全性测试55.2安装测试85.3配置和兼容性测试85.4易用性测试95.5数据和数据库完整性测试115.6接口测试115.7文档测试125.8失效恢复测试131 目的和范围本文档阐述了常用的非功能性测试类型及其测试方法,供相关测试人员安排测试计划、设计测试和执行测试时参考。功能测试、回归
2、测试和性能测试不在本文档讨论范围,另有专门文档讨论。本文档适用于上海银行信息技术部所有测试服务的非功能性测试工作。2 术语和缩写术语和缩写解释备注安全性测试测试应用或系统的安全机制安装测试测试被测软件在各种需要的软硬件配置下能正确安装配置/兼容性测试测试被测软件在各种需要的软硬件配置下能正确运行易用性测试考虑软件使用时人的因素和感受数据和数据库完整性测试测试数据存取方法和过程等能正确运行,在整个数据操作过程中和结束后没有数据被破坏接口测试测试内部单元组合到一起后能够按照设计的意图协作运行,接口的调用正确文档测试验证发布的软件产品中的文档的正确性,尤其对与用户相关的文档失效恢复测试测试被测软件能
3、成功地从硬件、软件或网络故障中失效恢复而不会有数据的丢失3 参考资料参考文件备注TMMi Framework v2.0Produced by the TMMiFoundation上海银行信息技术部ISO90012009.09版发布版4 角色对应关系角色对应关系业务人员来自产品开发部/业务部门的业务需求发起者测试需求分析人员通常由信息技术部指派测试组长通常由信息技术部指派测试设计人员通常由信息技术部指派测试执行人员通常由信息技术部指派开发组长通常由信息技术部指派5 非功能性测试类型及其测试方法5.1 安全性测试软件安全性轻则造成操作的不方便,重则造成数据的破坏或丢失甚至系统的崩溃和人身的安全,因
4、此,软件安全性是一个不容忽视的重要问题,我们可以简单地把软件的安全性作为一个或多个特定的功能来考虑,从而在软件生命周期的早期就加以考虑。为了帮助设计一个安全的信息系统,在产品设计的最开始就必须注意安全的问题,比如需求中应有安全性的相关项目、设计和代码评审应有专门针对安全性的内容等等,然后才是测试。测试员仅仅能测试验证软件的安全性。当然,对于没有在软件需求书上标明的可能影响系统运行安全的隐性需求测试人员也要努力的发现,这也是一个有经验的安全性测试人员的可贵之处。当然,理论上没有任何一个信息系统是安全的,因为只要进行攻击,任何系统都能被攻破,只不过付出的代价的大小。而我们一般说某个信息系统是安全的
5、就是基于如果要攻破该系统所必须付出的代价要高于或远远高于攻破系统后获得的利益。测试目标测试应用或系统的安全机制,保证系统运行和使用的安全性测试策略采取静态分析技术和功能测试两种方式拦截系统开发时存在的漏洞软件生命周期早期的代码、设计评审由开发人员完成对软件安全性的提高非常有效和重要,可以人工评审和自动化工具结合的方法进行更详细的测试策略描述请参看下文软件安全性测试详细策略参考测试重点考虑l 相关信息安全法律法规的要求l 测试环境l 网络安全l 日志评审l 文件完整性检查l 系统软件安全l 客户端应用安全l 客户端到服务端应用通讯安全l 服务端应用安全测试通过准则应用满足和符合采用的安全机制,在
6、应用规定的程度上能保证系统正常运行和安全使用软件安全性测试详细策略参考：软件安全性测试包括应用软件、网络系统、数据库和系统软件安全性测试。根据系统安全指标不同测试策略也不同。1. 用户认证安全的测试要考虑问题：l 系统中是否有不同的用户使用权限l 系统会不会因用户的权限的改变造成混乱l 系统中会不会出现用户冲突l 用户登陆密码是否可见、可复制l 是否可以通过绝对路径登陆系统拷贝用户登陆后的链接直接进入系统l 用户退出系统后是否删除了所有鉴权标记,是否可以使用后退键而不通过输入口令进入系统2. 应用方面安全的测试要考虑问题：l 缓冲区溢出l 无效的数据类型l 关键信息是否采用加密技术l 是否可以
7、通过绝对路径进入系统l 使用的端口号l 远程进入服务如有l 文件完整性检查l 日志评审l 模拟黑客攻击3. 系统网络安全的测试要考虑问题l 物理连接上的安全,包括无线部分如有l 防火墙、防病毒软件的安全l 测试采取的防护措施是否正确装配好,有关系统的补丁是否打上l 模拟非授权攻击,看防护系统是否坚固l 采用成熟的网络漏洞检查工具检查系统相关漏洞l 入侵网络监察系统和防护系统l 采用各种木马检查工具检查系统木马情况l 采用各种防外挂工具检查系统各组程序的外挂漏洞4. 数据库安全考虑问题：l 系统数据是否机密l 系统数据的完整性l 系统数据可管理性l 系统数据的独立性l 系统数据可备份和恢复能力数
8、据备份是否完整,可否恢复,恢复是否可以完整5. 系统级别软件安全考虑问题：l 系统级别软件如操作系统、数据库系统和中间件系统等是否最新的, 尤其如果使用开源软件或免费软件l 系统软件是否有相应的补丁,尤其是安全性方面的补丁包l 从安全性考虑,系统级别软件是否是最可靠的如使用Tomcat还是 Weblogicl 从安全性考虑,系统级别软件是否匹配应用设计技术5.2 安装测试安装测试有两个目的。第一个目的是确保软件能够在不同的条件下进行安装,例如,首次安装、升级安装、完整或自定义安装；在正常和异常条件下的安装。异常条件例如磁盘空间不足、安装用户缺少目录创建权限等。第二个目的是验证软件在安装后能正确
9、操作。这通常意味着要运行大量为功能测试开发的测试用例。建议对于安装测试,其重点应该放在第一个目的上,对于第二个目的可以根据需要和实际情况穿插在后续的测试,如冒烟测试、功能测试中体现。测试目标验证被测软件在各种需要的软硬件配置下正确安装,包括下列情况：l 新安装。一新的机器,先前从未安装过该软件l 更新。该机器先前安装过该软件同样的版本l 更新。该机器先前安装过该软件的老版本测试策略手工或自动化不管是手工安装还是自动化脚本安装,都要严格按照用户安装手册规定的操作步骤进行测试重点考虑有没有安装手册对于第二个目的的安装测试,怎样选取预先规定的功能测试的子集测试通过准则对于第一个目的：确保软件能够在不
10、同的条件下进行安装。成功的安装应该是在整个安装过程中和安装完成后没有任何异常错误出现,能成功登录该应用对于第二个目的：验证软件在安装后能正确操作。这个需要运行预先规定的一功能测试的子集5.3 配置和兼容性测试配置和兼容性测试验证被测软件在不同的软硬件配置下的操作和表现。在大多数生产环境中,特定的硬件规格,如客户端工作站、网络情况、服务器配置甚至型号都会不同。另外,不同客户端工作站上也许有不同的软件负载,如不同的应用软件、不同的浏览器、浏览器的不同版本的插件、驱动程序等等；甚者不同的操作系统,如Windows XP, Windows Vista等等；服务器软件也会不一致,如数据库软件,如Orac
11、le, Microsoft SQLServer、中间件软件等等。该类测试对产品显得尤其重要。对于项目来说也有巨大的指导作用,如项目经理为了最优化配置从成本和实用的角度等,就需要进行不同软硬件情况下的配置和兼容性测试。该类测试也往往和性能测试相结合以决定在不同软硬件情况下的最优化配置如从成本和实用的角度等。测试目标验证被测软件在各种需要的软硬件配置下能正确运行测试策略使用功能测试脚本首先,针对一特定硬件配置下：l 打开和关闭许多和被测软件无关的、但和被测软件共同在同一机器上的其它许多软件,如同机上的Microsoft应用软件,Excel或Word等等如果有,可以在测试过程中和测试前就打开l 在此
12、基础上执行相应的功能测试测试重点考虑硬件配置情况复杂多样,使用哪些硬件配置呢？建议最好做些调研,如考虑目标用户或最终用户的使用习惯和经济承受能力？打开哪些和被测软件无关的、但和被测软件共同在同一机器上的其它许多软件？建议最好做些调研,如考虑目标用户或最终用户会使用哪些其它的常用软件？尤其在使用目标软件时往往同时会打开或使用的软件？测试通过准则在某一特定的硬件配置下,在许多和被测软件无关的、但和被测软件共同在同一机器上的其它许多软件运行或使用情况下,相应的功能测试没有失败5.4 易用性测试易用性是人类工程学的目标。软件的易用性是一个比较有特点的问题,会随着具体产品或项目的特征和要求而有巨大差异,
13、比如手机软件和一般Windows平台下的软件易用性相差很大,又如一核反应堆的关闭序列和一语音信箱的菜单系统的易用性有着天壤之别。即使对于同一个软件,不同的用户也会有不同的感受。当然,我们也不是说对软件的易用性就毫无测试办法和标准,对于同一类软件还是有它的通用性可言的。因此下面尝试从一些比较通用的方面讨论之。易用性主要考虑软件使用时人的因素和感受,因此我们先介绍两个概念。用户与程序相互交互的介质称为用户接口User Interface - UI,用户接口对不同软件种类也会有巨大的差异,对于PC来说,我们现在有了精致的完善的图形用户接口Graphical User Interface - GUI。
14、很快我们可以对着我们的PC听和说,那时又会有新的UI。另外,Accessibility testing也属于易用性测试范畴。这种测试一般针对对软件有特殊要求的群体,比如部分残疾人。测试目标考虑软件使用时人的因素和感受测试策略使用功能测试脚本对于一些比较通用的规则可以制成检查表的形式测试重点考虑l 遵守通用的标准和指导方针。如Windows平台下的软件应和Windows平台的风格一致、而Mac平台下的软件显然应该和Mac平台的风格一致l 直觉的。如用户界面是干净的、不多余的？用户界面是经过良好组织和布局的？l 一致性。如快捷键和菜单选项间；术语和命名；确认和取消按钮的位置布局等l 灵活性。如用户希望能手工键入、粘贴、插入文件内容等方式作为输入方法l 舒服的。如较长时间的等待应有进度条提示、一般情况下程序应有较快的反应,但也不是绝对的,举个例子,高性能就一定好吗？未必如此,例如当快速的连提示信息或出错信息都不能看清时用户反而会觉得很不舒服l 正确的。例如拼写；图标是否有同样的大小和背景；还有是否所见即所得 - WYSIWYG what you see is wh
