《软件效率测试-初级培训》由会员分享,可在线阅读,更多相关《软件效率测试-初级培训(38页珍藏版)》请在金锄头文库上搜索。
1、国家应用软件产品质量监督检验中心软件测试工程师培训软件效率测试目标本次培训的目标: 了解效率测试的概念 了解效率测试的常用手段 了解效率测试的步骤 掌握脚本录制方法 掌握脚本的调试和修改方法 掌握测试报告的编制方法 了解测试数据的分析方法 理解基本的性能指标效率测试的定义谈及系统的性能,其覆盖面非常广泛,对一个 系统而言包括执行效率、设备效率和网络效率等 性能测试用来保证产品发布后系统的性能满足 用户需求,性能测试在软件质量保证中起着非常 重要的作用效率测试的目的 评估系统的能力 识别体系中的弱点 系统调优 验证可伸缩性(resilience)和可靠性( reliability) 用性能测试手
2、段发现系统存在的问题 设备选型 提供部署方案的参考 效率测试的常用手段基准测试 并发测试 递增测试 场景测试 极限测试疲劳测试 数据存储容量测试 吞吐量测试 基准测试基准测试是指测试环境确认以后,对业 务模型中涉及的每种业务做基准测试。目 的是获取单用户执行时的各项性能指标, 为多用户并发和混合场景的性能测试性能 分析提供参考依据。并发测试并发测试是指并发不同数目的虚拟用户 执行检查点操作,目的是对检查点进行压 力加载测试。预测系统投入使用后在一定 用户压力情况下的系统响应时间,根据此响 应时间分析、确定系统存在的性能瓶颈, 为系统的优化和调整提供依据。 递增测试递增测试是指每隔一定时间段(如
3、5秒、 10秒)并发不同数目的虚拟用户执行检查 点操作,对检查点进行递增用户压力加载 测试,从而模拟系统真实的使用情景,使 用户预知系统投入使用后的性能水平。 场景测试根据历史数据统计结果以及系统用户的 分布和使用频率,模拟不同用户执行不同 操作,如10%的用户执行登录操作,50%的 用户执行查询操作,40%的用户执行数据 库更新操作,最大限度地模拟系统的真实 场景,使用户预知系统投入使用后的真实 性能水平。从而,对系统做出相应的优化 及调整,避免实际情况中出现系统长时间 不响应及崩溃的情况。 极限测试极限测试是指对系统核心功能点及可能 存在压力瓶颈的功能点进行性能极限测试 ,即该功能点所能承
4、受的最大用户并发数 。通过极限测试,用户可预知系统投入使 用后,能否满足实际的需求。疲劳测试该测试是指对系统核心功能点进行疲劳强度测 试,即用系统稳定运行情况下能够支持的最大并 发用户数,持续执行一段业务时间(如48小时) ,记录交易平均响应时间,交易正确率,应用服 务器和数据库服务器CPU利用率、内存使用情况 等参数,考察应用服务器和数据库服务器是否出 现宕机、内存泄漏等情况。该测试通常需要和场 景测试进行结合,从而可以最大限度地模拟真实 环境下,系统长时间连续运行条件下,系统是否 能够保持在稳定运行状态。 吞吐量测试模拟多用户进行执行提交任务操作,测 试系统单位时间内可执行任务数是否可以
5、达到预期的指标。数据存储容量测试数据库存储一定容量后,在不同的数据 存储量情况下,重新执行各项操作,求得 系统响应时间。比较不同数据存储容量情 况下,执行不同任务操作的系统响应时间 ,使用户预知未来一段时间随着数据存储 容量的变化,执行不同任务操作响应时间 所发生的变化。 网络性能测试含义 测试网络带宽、延迟、负载和端口的变化对 用户的响应时间的影响 实际应用 主要是测试用户数目与网络带宽的关系效率测试局限不能穷尽所有的情况或案例 不能100%的达到需求效率测试的步骤分析系统并制定测试目标 选择相关技术和工具 准备测试环境 录制脚本并设计测试用例 设计测试场景 运行测试用例并确定系统健康运行
6、监测后台资源 分析测试结果并制作报告分析系统并制定目标 分析系统 系统类别 系统构成 系统功能 制定目标 确定客户需求和期望 确定实际业务需求 确定系统需求 测试点通常按照4-8原则,时间占到整个测试周期的2/3以上 登录、查询、数据更新操作、文件上传等选择相关技术和工具对各种性能测试工具进行评估 选择符合现有软件架构的性能测试工具 设计测试场景虚拟用户的操作步骤要尽量类似真实用 户的操作 操作的数据要类似于真实用户实际使用 数据,以防止应用缓存技术对负载测试带 来的负面影响 在案例设计时要充分考虑到需求中用户 对模块使用的频率 准备测试环境系统使用何种操作系统 需要监控哪些指标 需要安装哪些
7、服务 是否需要准备数据 需要哪些用户 同一个用户是否可以重复使用 录制脚本并设计测试用例从登录开始 加入检查点 尽可能模拟用户的数据 一定要退出系统(logout)并发时加入同步点 修改调试脚本发现脚本中动态内容出现的位置并用变量 进行替换 替换的方式分为: 创建数据池文件(txt、cvs or dat) 使用Central数据池 数据不能重复 使用Local 数据池 数据可循环使用 通过ActiveData菜单插入变量值运行测试用例并确定系统健康通过并发两个用户确定脚本的可并发性 不能只进行一次测试(初始化、缓存、网络)配置选项(选择脚本、用户数、机器) 执行测试 查看执行状态(进度、错误信
8、息) 查看测试结果(数据是否正确、license ) 采集数据停止测试监测后台资源网络访问方式、Agent方式、SNMP方式 CPU 内存 磁盘 网络分析测试结果并制作报告 收集相关信息 进行数据统计分析 寻找性能瓶颈 响应时间是否满足要求 事务响应时间随用户变化图有无剧烈变化套用效率测试模板测试工具培训基础QALOAD v QALoad 是进行性能测试,负载测试和强度测试的工具 v QALoad 可以对应用负载测试一直达到应用最大并发用 户数 v QALoad 可以对应用进行强度测试,从而找到应用可承 载的最大并发用户数 v QALoad 可以测量应用的响应时间,给出应用的最终用 户性能体验
9、 v 其它用途:系统优化,监测服务器资源,容量规划, 基准性能指标,与其他工具结合获得更多的功能QALOAD所支持的协议通信层 Winsock, IIOP, WWW, WAP, Net Load数据层 ODBC, MS SQL Server, Oracle, Oracle Forms Server, Sybase, DB2, ADO应用层 SAP, Tuxedo, Uniface, QARun, JAVAQALOAD体系结构WorkbenchPlayer MachinesConductorAnalyze20 vus50 vus75 vusApplication Under TestQALoad
10、的三大组成组件安装环境Windows 环境+最新的补丁 IE JDK Visulstudio +补丁 PDF阅读器工具演示录制脚本 修改脚本 设置测试场景 运行测试脚本 分析测试数据 制作测试报告性能测试关注的主要指标响应时间 并发或在线用户数 吞吐量(应用和数据库) 内存(Memory) 磁盘(Physical Disk) 处理器(Processor)网络响应时间在某数据量的情况下,完成某功能模块 所需要的时间内存(Memory)Committed Bytes in Use Available Bytes Page Faults/sec Pages/sec磁盘(Physical Disk)D
11、isk Time Idle Time Avg. Disk Queue Length Current Disk Queue Length处理器(Processor)Processor Time User Time Processor Queue Length 网络Bytes Total/sec Packets/sec 回顾效率测试流程准 备 测 试 环 境选 择 测 试 工 具录 制 脚 本 并 设 计 用 例设 计 测 试 场 景执行测试 用例/监测 系统资源分析 结果结果 是否 准确测 试 报 告YN分 析 系 统 理 解 测 试 需 求目前压力测试工具QALoad(Compuware) Silk Performance LoadRunner(Mercury Interactive) WAS、ACT(Microsoft) Jmeter