《软件性能测试报告》由会员分享，可在线阅读，更多相关《软件性能测试报告（31页珍藏版）》请在金锄头文库上搜索。
1、性能测试内部交流【摘要】从内容上来说，功能测试、性能测试以及其他一些零散内容构成了软件测试的主要内容，压力测试是性能测试的主要部分，是基于Web测试过程中非常重要的一项，并且是对工具软件依赖性最强的测试。本文旨在总结各种压力测试工具所能测到的具体内容，各种测试结果，以及测试结果的表现形式。1. 概念的提出1.1基于web测试的特点很明显，基于web的应用程序的测试不是微不足道的小事，对测试人员的素质要求更高。测试web页面相对来说内容比较统一和简单（链接是否正确可用？所有组件载入是否正常？时间是否足够快？）而测试电子商务应用程序需要更熟练的测试技巧更多的时间。测试基于web应用程序一个主要的弱
2、点在于缺少专业技术和技能。测试者需要理解各种浏览器、操作系统、web server以及数据库之间微妙的区别。他们对脚本语言(ASP, XML, HTML, 等)、数据库（Oracle, SQL等）、web servers (IIS, Apache等)以及界面后的数据传输协议 (TCP/IP, HTTP, FTP等)懂得越多，测试就越有效。测试人员不能简单地根据界面（这里就是浏览器）执行各种功能，这样会漏掉web应用程序测试所需的其他方面，像performance, security, database integrity请记住，解密高手们是不通过浏览器来对站点解密的，他们使用脚本。测试易用性、
3、浏览器兼容性和其他前台功能可以简单地通过测试后台来实现，幸运的是，后台程序更多得显出传统应用程序的特点，像数据库访问、事务服务器等等。许多场合下，这些功能领域可以独立出来通过驱动程序和桩模块来实现。1.2主要测试内容基于web应用程序的质量指标可以归结为1) 可靠性（Reliability）2) 可回复性（Recoverability）3) 安全性（Security）4) 易用性（Usability）5) 性能（Performance）1.2.1 可靠性可靠性的一个定义是“在取得的结果上表现出合理的一致性”。有多少站点可以称之为“可靠”呢？另一个定义是“值得信赖，给人信心”。然而，或许站点并不
4、是永远可访问或者显示断断续续的性能问题。许多作者的观点是web程序的可靠性纯粹是一个基于用户的质量要求。就是说，这是一个主观（subjective）名词，用户才是该定义的者和修复者。1.2.2可恢复性这是另一个容易忽略的质量指标。许多web应用程序有一个备份或冗余服务器，当主服务器出问题之后，该服务器会被启用。这种机制在数据库服务器组件也被采用。重新路由机制必须经过测试，测试方法类似于对系统容错性的测试。然而，可恢复性意味的不仅仅是错误安全开关。它必须能重新同步化所有的连接系统，像仓库系统、支付操作，以及数据检验以确保数据没有丢失和破坏。这会增加测试情节的复杂性。1.2.3安全性可能web应用
5、程序最严格的标准就是安全性security。约束对信息的访问，验证用户密码、对保密的信息加密都是至关重要的质量要求。信用卡系统、医疗系统、财务系统以及其他社团信息都必须严格保护，从普通浏览者到解密高手。一般有许多加密层，从密码机制到数字证书，每种机制都有其优缺点。在此方面一个危险但被大家通用的方式是直接发布软件等待有人发现安全性问题，然后发布“补丁”修改该问题。对于web应用程序来说，补丁可以无缝方式（对用户透明）安装，然而，由于安全性对环境有很大依赖，安装补丁然后更改环境可能使web程序陷入危险。1.2.4易用性web程序中，易用性是一个重要方面。过去，只有非常精细的项目会在人机界面上请教G
6、UI设计员或专家。当web应用程序成功使用后，这些专家就非常抢手了。许多GUI设计师实际上是艺术人员、出版业人士，他们对GUI和易用性法则可能了解很肤浅。随着越来越多的web应用程序出现，用户们变得越来越有经验、“老道”。这些用户对于易用性会提出比新手不同的问题。1.2.5性能性能测试包括测试程序的实时性反应。执行某项操作所消耗的时间,或者同其它版本或同等程序消耗时间的比较，通常是其测试标准。软件性能的标准时间也通常在客户需求说明文档中明确定义。在设计这类需求时，应以实际数目术语来陈述，而不要使用像“至少必须比先前版本要快”这样的语句。使用实际数字可以确保以后报告性能问题时容易以优先级和严重性
7、对其排名。性能测试中的一个有效的测试是压力测试。压力测试可以理解为多用户性能测试，即测试多个用户同时使用web程序时性能的下降情况。相对于桌面程序，web程序执行性能测试的根本区别在于web程序在测试中有许多下降的指标。瓶颈口可能在web server、application server或database server，而且，查询其根源会非常困难。1.3压力测试压力测试用于衡量待测应用软件在压力状态下的性能。在基于web的应用软件中，产生这些压力条件，主要是通过分布于最低（或有限）条件的硬件资源下，使用网络模拟出成千上万个分布式虚拟用户，这些用户产生一致的、可重复的并且可测的压力，来模仿现实
8、世界，起到对应用软件测试的效果。多数测试软件采用报表和图像方式来提供测试结果，用于评价软件的性能。从其定义分析，压力测试应属于性能测试。2.主要测试项所能用图表列出的项目2.1 Vuser 显示执行了脚本的虚拟用户的个数以及每秒中的状态。这种图形在确定登陆的虚拟用户数非常有用。. 激活的虚拟用户图形用于显示每秒内执行Vuser脚本的虚拟用户个数及其状态。用于确定任何时刻服务器上的用户访问压力。X坐标：从情节开始算起的时间。Y坐标：虚拟用户的个数。. 虚拟用户汇总图显示虚拟用户汇总信息，对成功完成了情节的用户与失败的用户作对比。以饼形表示。. 虚拟用户同步点（Rendezvous）图lr_ren
9、dezvous 函数在Vuser script中定义一个同步点rendezvous。当该语句被执行时，Vuser停止等待LoadRunner发命令允许继续。 Rendezvous图显示何时虚拟用户从同步点中释放出来，有多少虚拟用户在此点被释放。本图有助于理解事务性能。如果把此图与Transaction Response Time Average图比较，可以看出同步点影响的事务数如何形成压力峰值。X坐标表示从情节开始的时间，Y坐标表示从同步点中被释放的用户数。2.2 Error 在某个情节中出现的错误情况。包括如下信息：. 错误统计情节运行中出现的错误数，以错误代码分组。如下图像中，总共出错17
10、8个，第一个错误码出现12次，占6.74%。. 每秒的错误执行某个情节时每秒出现的错误数。2.3 Transaction 执行某个场景之后，可以分析关于事务的图形和报表，包括如下信息：. 事务反应时间-平均事务反应时间-平均图显示在场景运行时执行事务所消耗的平均时间。X轴代表从场景开始的执行时间。Y轴代表执行每个事务消耗的时间。. 事务反应时间-压力下的图形是虚拟用户和事务反应平均时间的结合，表示情节运行的任何点上，事务时间和虚拟用户数量的关系。本图有助于查看虚拟用户的登陆对性能的冲击。最有效的场合是对压力梯度分析某个情节。X轴代表从场景开始的执行时间。Y轴代表执行每个事务平均消耗的时间。.
11、事务反应时间-百分点图用于分析在给定的时间内执行的事务的百分数。有助于确定满足了所定义的性能标准的事务的百分比。最大反应时间可能非常的长，但是如果大多数事务的访问时间可以接受，系统总体也就满足了需要。X轴代表在场景播放过程中总事务数所占百分比。Y轴代表执行事务消耗的时间。在图中，tr_matrix_movie事务中少于20的事务其响应时间少于70秒。. 事务反应时间-分布图显示在某个情节中执行事务的时间分布图。如果同事务性能总图比较，可以看到平均性能如何计算的。X轴代表事务响应时间。Y轴代表情节中执行的事务。在下图中，绝大多数事务的响应时间少于20秒。. 每秒事务图显示在情节播放过程中，每秒对
12、于每个事务，其通过、失败和夭折的次数。有助于确定任何给定时刻系统中实际的事务压力。该图像同事务响应平均时间相比较，可以分析在性能时间内事务个数的影响。X轴代表从场景开始的执行时间。Y轴代表情节播放中的事务数。. 每秒事务总数显示场景播放中通过、失败和夭折的事务总数。. 事务汇总图. 事务性能概要图显示情节中最小、最大和平均性能时间。X轴指定事务名，y轴显示时间执行每个事务最接近的时间。2.4 Web Resource用于分析Web server的性能。. 每秒点击量显示情节播放每秒中虚拟用户向web server发出的HTTP请求。该图像有助于以点击量来评价产生的虚拟用户数。可以通过该图与事务
13、平均响应时间图的比较来分析点击数对事务性能的影响。. 数据流量图显示在场景运行时每秒服务器上的流量。以byte为单位，表示任何给定的秒内从虚拟用户从服务器接受的数据量。可以通过该图与事务平均响应时间图的比较来分析流量对事务性能的影响。下图表示第55秒的情节中，流量为193,242 byte。. HTTP 状态码概要图显示情节播放中，从Web server返回的HTTP状态码（指出HTTP请求的状态，例如 “the requestwas successful,” “the page was not found”）。使用该图和HTTP每秒响应图可以定位产生了错误码的脚本。只能以饼形表示。下图表示只
14、产生了HTTP状态码200和302，200 产生了1,100次，302 产生了125 次。. 每秒 HTTP 响应数图以状态码来划分，显示情节播放中，从Web server返回的HTTP状态码（指出HTTP请求的状态，例如 “the request was successful,” “the page was not found”）。X轴为时间，y轴代表每秒HTTP响应数。下图表示200状态码的最大数目60出现在第55秒。302状态码的最大数目85出现在第5秒。. 每秒下载页面图2.5 Web Page Breakdown 明细页面让你分析是否有些事务由于页面的内容而受到影响。通过该图，可以分
15、析网站上有问题的页面元素，例如下载缓慢地图像，或坏的超链接等。. 页面组件明细图 显示每个页面及其组件平均下载时间。例如，下图表示主页地址使用了28.64% 的总下载时间，同35.67%的 页面组件（OVER TIME）明细图显示每个页面及其组件平均响应时间（秒），以时间为基准。例如，下图表示Satellite_Action1_963 响应时间明显多于main_js_Action1_938。. 页面下载时间明细图 显示每个页面组件下载时间的细目分类，用于确定在页面下载过程中响应时间缓慢是由于网络问题还是服务器出错导致的。以DNS resolution time, connection time, time to first buffer, SSL handshaking time, receive time, FTP authentication time, client time, 以及error time来汇总各个组件的响应时间。. 页面下载时间（OVER TIME）明细图显示情节播放中每个页面组件下载的时间。该图有助于确定网络或服务器出错地点。
