{流程管理流程再造}性能测试基本理论和流程规范

《{流程管理流程再造}性能测试基本理论和流程规范》由会员分享，可在线阅读，更多相关《{流程管理流程再造}性能测试基本理论和流程规范（36页珍藏版）》请在金锄头文库上搜索。

1、,0,性能测试基本理论和流程规范,1,主要学习内容/要点： 性能测试基本理论，术语以及模型介绍 性能测试的基本过程，各阶段的介绍 性能测试流程实例,课程概览 课程名称 性能测试理论基础以及基本流程 基本描述 本课程介绍性能测试的理论基础，性能测试的基本流程 课程目标： 了解性能测试的基本理论 了解性能测试的基本过程 了解性能测试流程各阶段规范,2,第一部分 性能测试基本理论，术语及模型介绍 第二部分 性能测试基本流程，各阶段介绍 第三部分 性能测试流程,典型的企业信息服务系统架构图：,常见企业级系统架构一般分为： 客户端； 网络； 防火墙； 负载均衡服务器（硬件如F5、软件Apache等）；

2、Web服务器； 应用服务器（中间件Weblogic、Tomcat等）； 数据库服务器等 涉及专业人员包括： 性能测试工程师； 系统管理员； 网络工程师； DBA； 程序设计人员；,架构示例,3,第一部分 性能测试基本理论，术语及模型介绍,什么是性能,系统实现其功能的能力,对性能进行描述可以从宏观和微观两个层面, 宏观上：,系统能稳定运行，高并发访问量下系统不宕机,一定数量的促销或 抢购活动 系统处理完需要的时间，系统能够支撑的访问量，系统每 秒 能够处理的交 易或者事务数，系统的容量，系统能否支撑未来一段时间内访问量增加等。, 微观上：,每笔交易或者每个事务的资源开销，包括CPU，磁盘的IO，

3、网络传输，服务 器的连接数，各种线程锁，线程池的使用情况，JVM heap的使用，内存的 分配，回收，对象占用内存的大小，缓存的规则，条目大小，缓存的大小， 命中率不未命中率，接口调用的响应时间，系统间交互的响应快慢等等,4,第一部分 性能测试基本理论，术语及模型介绍,性能指标,衡量性能的好坏，需要使用一些性能指标来描述，以下是一些最常使用的性 能指标：, 响应时间(Response Time)：,请求或者某个操作从发出的时间不收到服务器响应的时间的差值, 一般统计 的是事务的响应时间，响应时间是衡量系统性能的一个很重要的性能指标。, 吞吐率(TPS Transaction Per Secon

4、d)：,系统每秒钟能够处理的交易或事务的数量,一般统计的是每秒通过的事务数， TPS也衡量系统性能的一个很重要的性能指标,响应时间和TPS 两个非常重要的性能指标，任何系统的性能都可以用这两个指标来描述，,针对不用的应用系统会衍生出一些别的指标，但都是从这两个指标转化而来的,事务：自定义的某个操作或者是一组请求的集合。例如在登录页面，输入完账号密 码，从点击登录按钮开始到跳转到新的页面且页面加载完全，这一步操作，我们定 义为一个事务，对于打开一个页面，从浏览器中输入URL地址到页面加载完全，我 们把这一过程定义为一个事务，它包括若干个HTTP请求，所以事务也是一组请求的,集合。,5,第一部分

5、性能测试基本理论，术语及模型介绍 资源开销（SD Server Demand）: 每个交易或者事务对系统资源的消耗，是一个可量化的概念，用来衡量不同 交易或者事务对资源的消耗程度。例如对CPU的消耗程度用消耗的CPU秒数 来衡量，其计算逻辑为(1*CPU个数*CPU利用率)/TPS=每个事务或者交易的 CPU开销。其他的磁盘IO以及网络传输有类似的计算方法。 并发用户(Concurrency) ： 真实用户的相邻操作之间会有一定的间隔时间(称之为思考时间)，所以并发 用户有绝对和相对之分。狭义的并发是某个时间点同时向服务器发出请求的 并发用户数。广义上的并发是一段时间内向服务器发出请求的并发用

6、户数 例如电商的订单流程包括登录，浏览产品页面，加入购物车，去结算，确认商品清 单，确认地址信息，使用券，提交订单，去支付。100个人同时在网站上下订单， 但因为每个人执行订单流程中的步骤有快有慢，所以在同一时间点向服务器发出请 求的是不会有100个的，会远小于100这个值，我们假设为10.那么这个100 是相对的 并发用户数，10为绝对的并发用户数。,6,第一部分 性能测试基本理论，术语及模型介绍 PV (Page View)： 即页面浏览量，或点击量；用户每1次对网站中的每个网页访问均被记录1次。 用户对同一页面的多次访问，访问量累计。 PV是衡量电子商务网站性能容 量的重要指标。PV统计

7、有全天PV,平均每小时PV以及高峰1小时的PV UV (Unique Visitor)： UV(独立访客), 访问网站的一台电脑客户端为一个访客。00:00-24:00内相 同的客户端只被计算一次。UV统计也会有全天UV,平均每小时UV和高峰1小 时的UV PV和UV是衡量web站点的两个重要的指标。PV/S由TPS通过一定的模型转化为PV。 例如若把一个完整的页面定义为一个transaction,则TPS就可以等同于PV/S。 PV于UV之间存在一个比例，PV/UV可以理解为平均每个人浏览的页面个数。这个比 值会有一定 的波动，促销期间的PV/UV比会略高于平时的PV/UV。所以用PV来衡量

8、 web站点的容量更准确。,7,第一部分 性能测试基本理论，术语及模型介绍 每秒点击率（Hit/S）： 每秒的Hit数，反映了客户端每秒钟向服务器端提交的请求数量，一个hit对 应一次HTTP请求，性能测试过程中一般不请求静态的资源(JS，CSS，图片 文件等)，所以Hit/s一般指动态请求。 订单转化率： 访客访问网站时，把访客转化成网站的常驻用户进而再提升成网站的消费用 户，而由此产生的消费率就是订单转化率，它是衡量电子商务网站运营水平 的重要指标。计算方法是一段时间内(一般为1小时)的有效订单数(订单状态 为C+M)/访问人数(UV),8,第一部分 性能测试基本理论，术语及模型介绍,性能

9、测试,通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各 项性能指标进行测试,测试类型,针对不同的测试目的有以下的几种常见的测试类型：, 性能测试：系统在正常负载的情况的各项性能指标,即通过调整,找到合适的负,载,使系统的资源的利用率处于中等的情况下,采集系统的各项指标, 负载测试：系统在不同的负载的情况的性能表现,可以得到系统在不同负载下 的性能变化趋势，寻求性能的拐点。例如其他条件相同，分别测试系统在 20,50,100并发用户下的各项性能指标，找到其变化的规律，找到系统的能达 到的最大TPS，统计对应的响应时间和资源消耗,9,第一部分 性能测试基本理论，术语及模型介绍 压

10、力测试：系统在高负载的情况下的性能表现，寻找系统能够承受的最大负 载以 及对应的系统吞吐率 基准测试：针对确定的测试系统，代码版本执行的测试，采集性能指标，作 为后期的版本对比 稳定性测试: 以正常负载或者稍高于正常负载施加于系统，进行长时间的测试， 检测统能够稳定的运行，以及系统的各项性能指标会不会随着时间发生变化。 扩展性测试: 通常用于新系统，新环境的搭建，通过先测试单台服务器的处理 能力,然后逐渐增加服务器数量，测试集群环境下的单台服务器的处理能力是 否有损耗。,10,第一部分 性能测试基本理论，术语及模型介绍 业务场景与测试场景 业务场景 即业务流程，具体的业务操作的总和。描述的是具

11、体的用户行为，可以通过 对用户的行为进行分析得到，也可以根据以往的数据对业务场景进行估计。 业务场景对性能测试非常重要,是性能测试场景的设计的重要来源。 测试场景 测试场景是对业务场景的模拟，测试场景应该尽可能的贴近真实的业务场景， 但是有时由于条件所限制，会做一些调整和特殊的设置,11,第一部分 性能测试基本理论，术语及模型介绍,单场景与混合场景, 单场景,测试场景中只涉及到单个的业务流程，目的是测试系统的单个业务在响应时 间正常，系统资源利用正常的情况下所能达到的最大的TPS，测试系统的单 个业务的容量。, 混合场景,测试场景中涉及到多个业务流程，且各业务流程在混合的业务流程中占的比 重会

12、不同。目的是为了测试系统的混合业务在响应时间正常，系统资源利用 正常的情况下所能达到的最大的TPS，测试系统的混合业务的容量。,12,第一部分 性能测试基本理论，术语及模型介绍 业务模型或访问模型 混合场景里含有多个业务流程，但是每个业务流程所占的比重会不一 样，针对每个业务以及业务的比重，称之为业务模型，对于web站点， 我们称之为访问模型 一个简单的 业务访问模 型,13,第一部分 性能测试基本理论，术语及模型介绍 第二部分 性能测试基本流程，各阶段介绍 第三部分 性能测试流程实例,14,第二部分 性能测试的基本流程，各阶段的介绍 性能测试的执行过程,系统性能调优,LoadRunner V

13、UGEN,LoadRunner CONTROLLER& ANALYSIS,阶段 5 分析测试结果， 书写测试报告,阶段 4 执行测试场 景,阶段 3 测试环境检查 确认和准备测 试场景,阶段 2 创建虚拟用 户脚本,阶段 1 制定性能测试 计划方案,NOTE: 这是LR的一个典型工作流程。,15,第二部分 性能测试的基本流程，各阶段的介绍 性能测试计划/方案 制定计划/方案前需要做的事情 熟悉业务流程，明确性能测试目的，不开发人员，业务人员，架构师，有经 验的性能测试工程师沟通，找到性能点 熟悉被测系统的架构，不其他系统的交互过程，系统的硬件配置信息，软件 配置信息，对性能测试有重要影响的关键

14、配置信息需要明确的列丼出来 明确项目的上线时间点，目前项目的进度，可调配的资源包括环境和性能测 试人员,16,第二部分 性能测试的基本流程，各阶段的介绍, 制定性能测试计划/方案,性能测试计划方案是性能测试的指导，是后续一序列测试活动的依据，完整 的性能测试计划方案需要填写以下的几个部分：, 测试概述 对整个测试项目进行整体的描述, 测试目的 计划中必须有明确的测试目的，它是性能测试退出的判断条件 测试环境 明确的测试环境的软硬件信息，若有生产环境，除要有生产环境的,详细信息外，还需要有环境的差异分析, 测试数据 明确对测试数据的要求，例如可重复使用，参数的数量级，分布等 测试场景 最初设计的

15、测试场景的细节，包括每个测试场景的设置，测试目的，,对环境的调整，对测试数据的特殊要求等, 执行计划 最初设计的测试场景的执行时间计划, 计划变更 记录整个测试项目中的未按照计划执行的部分 参与人员 项目的参与人员以及每个人员的职责和分工, 风险控制 预期的风险和不可控的因素以及它们对测试项目进度的影响,第二部分 性能测试的基本流程，各阶段的介绍 创建虚拟用户脚本, ,虚拟用户脚本是执行测试的前提条件,对整个性能测试的的结果的准确性有丼足轻重的 影响。脚本的制作需要遵循一定的规范.良好的虚拟用户脚本至少需要满足以下的几点 要求： 虚拟用户脚本模拟的业务流程不真实用户的行为应该尽可能的保持一致，

16、不能有过大的 偏差。 脚本有简要的描述，一些关键的执行步骤有注释，说明 事务的定义准确，即事务的起始边界和结束边界位置正确，同时需要对事务的通过不失 败进行明确的检查和判断，确保场景运行时事务的统计是准确的。 合理进行参数化，是否参数化以及参数的分布，参数的取值和更新方式，参数的数量级 等都会影响性能测试结果的准确性 脚本中要明确是否需要做关联以及关联的位置合理准确，有些请求处理逻辑中的检查比 较弱，虽然脚本能够运行成功，但服务器会抛exception。 测试数据准确，有效，满足性能测试的要求。避免因为测试数据的不合理影响性能测试 的结果 脚本中的参数和变量的使用要合理。 脚本中加入一些必要的控制逻辑，使脚本健壮，稳定运行。 17,18,第二部分 性能测试的基本流程，各阶段的介绍,检查确认测试环境,在测试环境搭建好后，需要确认测试环境，需要做以下的一些事情：, 收集并检查测试环境的软硬件信息 检查部署的代码版本。, 测试环境各服务器是否部署监控程序，性