《PTGM性能测试模型讲义ppt课件》由会员分享，可在线阅读，更多相关《PTGM性能测试模型讲义ppt课件（30页珍藏版）》请在金锄头文库上搜索。
1、- XXX(集团)股份限公司 - PTGM性能测试模型讲义 Kina Ma（马秀斌） Email: -XXX(集团)股份限公司- PTGM过程模型-XXX(集团)股份限公司- PTGM过程模型（含KPA）-XXX(集团)股份限公司- 1.测试前期准备l系统基础功能验证l组建测试团队 l测试工具需求确认 l性能预备测试（可选活动） 在前期准备阶段，至少要完成两个方面的工作：保证系统稳定和建立合适的测试团队。性能测试一般是软件系统已经开发或是部署完成之后的测试，要求被测对象至少具有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于“半成品”状态的软件系统进行测试，没有太大的意义。-X
2、XX(集团)股份限公司- 1.1 系统基础功能验证该活动类似于在系统测试阶段，每个迭代过程中的BVT（Build Verification Test）测试，对性能测试而言，这个活动的主要目的是确保当前需要进行性能测试的应用系统已经具备了进行性能测试的条件。-XXX(集团)股份限公司- 1.2 组建测试团队角色角色职责职责技能技能测试负责人1、和用户等项目干系人交互，确保测试的外部环境2、制定测试计划3、监控测试进度4、发现和处理测试中的风险1、计划执行和监控能力2、风险意识和能力3、外交能力和灵活变通的能力测试设计1、定义性能规划2、识别用户的性能需求3、建立性能场景1、业务把握能力2、性能需
3、求分析和识别能力测试开发1、实现已设计的性能场景2、脚本开发、调试3、确定测试时需要监控的性能指标、性能计数器1、脚本编码和调试能力2、理解性能指标和性能计数器测试执行1、部署测试环境2、执行脚本和场景3、根据监控要求记录测试结果、记录性能指标和性能计数器值1、搭建测试环境的能力2、测试工具使用（执行）的能力3、性能指标和性能计数器值获取和记录的能力测试分析1、根据测试结果、性能指标的数值、性能计数器值进行分析；2、能根据性能规划，分析出系统性能瓶颈，或是给出优化建议1、掌握性能测试工具的使用方法2、掌握应用系统性能领域相关知识,理解所采用的架构3、熟悉常用的性能分析方法4、具有一定的编码经验
4、支持角色(系统)系统支持，协助解决测试工程师无法解决的系统问题处理系统问题的能力和技能，最好由专职的系统管理员担任这个角色支持角色(网络)网络方面的支持，协助测试工程师解决网络方面的问题，在必要时为测试分析角色提供网络方面的分析支持网络方面的能力和技能，最好由专职的网络管理员担任这个角色支持角色(数据库)数据库方面的支持，在必要时为测试分析角色提供数据库方面的支持数据库方面的能力和技能，最好由专职的DBA担任这个角色-XXX(集团)股份限公司- 1.3 测试工具需求确认性能测试工具需求规划表性能测试工具需求规划表被测系统环境被测系统环境测试工具功能需求建议测试工具功能需求建议操作系统环境测试工
5、具是否能运行在本操作系统上？测试工具是否支持对本操作系统的监控？应用服务器环境测试工具能否支持对本应用服务器的监控？数据库环境测试工具能否支持本数据库的监控？应用使用的协议本系统使用了哪些协议？哪些协议需要在性能测试中通过工具进行录制和产生负载？测试工具能否支持我们需要进行录制和产生负载的协议？网络环境我们是否需要测试工具支持防火墙？我们是否需要测试工具支持负载均衡？测试管理支持测试工具是否能够提供方便的测试结果分析和管理？-XXX(集团)股份限公司- 1.4 性能预备测试（可选活动）所谓预备测试，指的是在正式的测试之前，通过简单的探索性测试或是其他方法，对系统的性能表现进行初步的了解。因为这
6、种预备测试是非正式性的，仅仅用来对被测系统的性能建立一个初步印象，所以方法上也比较随意。-XXX(集团)股份限公司- 2.测试工具引入l工具选择l工具应用技能培训l确定工具应用过程 性能测试工具在性能测试项目中发挥着不可替代的作用，很难想象一个没有使用任何性能测试工具而完全依靠手工进行的性能测试。对性能测试来说，要为项目测试选择合适的工具、要为测试工具的使用确定范围，要在测试过程中规定和规范测试工具的使用，都不是一件容易的事情。因此，把“测试工具引入”作为一个单独的阶段。-XXX(集团)股份限公司- 2.1 工具选择性能测试一定会使用自动化测试手段，使用自动测试工具(商业的或是自行开发的)。本
7、活动用于为项目选择合适的工具。选择的方法是圈定几种可用的工具，对照“性能测性能测试工具需求规划表试工具需求规划表”给出的问题列表，为每个工具进行一个功能符合度的评估，选择符合度最高的工具。如果所有的工具都无法达到我们要求的功能符合度，则可以考虑通过创建方式自行构建测试中使用的工具。-XXX(集团)股份限公司- 2.2 工具应用技能培训该活动为项目组的相关参与者进行测试工具的应用技能培训，以使测试活动参与者能够具备测试需要的技能。根据我们在1.2节给出的角色技能表，与测试工具相关性最大的是“测试开发”、“测试执行”和“测试分析”角色，因此培训的重点是针对这三种类型的角色进行。该活动需要达到一定的
8、目标，最好能够在活动开始前确定各种角色人员的详细技能标准，并据此给出培训是否达到预定目标的评判准则。-XXX(集团)股份限公司- 2.3 确定工具应用过程测试工具引入过程中最容易导致的失败就是团队不能达成对测试工具应用范围的一致认可和测试工具应用局限性的一致确认。该活动需要确定性能测试工具在测试中的具体应用范围，工具使用过程中的问题解决方法等内容。具体来说，哪些工作使用工具完成？测试工具在使用过程中的问题由谁来解决？测试工具的脚本如果管理？这些问题都应该在这个活动中完成。-XXX(集团)股份限公司- 3.测试计划l性能测试领域分析l用户活动剖析与业务建模l确定性能目标l制定测试时间计划 测试计
9、划阶段用于生成指导整个测试执行的计划。该阶段主要完成测试目标的确定、测试时间计划拟定。-XXX(集团)股份限公司- 3.1 性能测试领域分析应用领域应用领域性能测试目标性能测试目标性能目标性能目标能力验证验证系统在给定环境中的性能能力重点关注的关键业务响应时间、吞吐量规划能力验证系统的性能扩展能力，找出系统能力扩充的关键点，给出改善其性能扩展能力的建议业务的性能瓶颈性能调优提高系统的性能表现重点关注的关键业务响应时间、吞吐量发现缺陷发现系统中的缺陷无-XXX(集团)股份限公司- 3.2 用户活动剖析与业务建模用户活动剖析与业务建模活动用来寻找用户的关键性能关注点。用户对系统性能的关注往往集中在
10、少数几个业务活动上，在确定性能目标之前，我们需要先把用户的这些关注点找出来，从而确定最贴近用户要求的性能目标。用户活动剖析的方法大体分为两种：系统日志分析和用户调查分析。系统日志分析是指通过应用系统的日志了解用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路径；用户调查分析是在不具备系统日志分析条件的时候（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内容。-XXX(集团)股份限公司- 3.3 确定性能目标性能测试目标根据性能测试需求和用户活动分析结果来确定，确定性能测试目标的一般
11、步骤是首先从需求和设计中分析出性能测试需求，结合用户活动剖析与业务建模的结果，最终确定性能测试的目标。-XXX(集团)股份限公司- 3.4 制定测试时间计划该活动给出性能测试的各个活动起止时间，为性能测试的执行给出时间上的估算。具体方法是根据性能测试活动，为每个活动阶段给出可能的时间估计，最终形成时间上的计划。-XXX(集团)股份限公司- 4.测试设计与开发l测试环境设计l测试场景设计l测试用例设计l脚本和辅助工具开发-XXX(集团)股份限公司- 4.1 测试环境设计测试环境设计是测试设计中不可缺少的环节。性能测试的结果与测试环境之间的关联性非常大，无论是哪种领域内的性能测试，都必须首先确定测
12、试的环境。对于“能力验证”领域的性能测试来说，测试首先就已经明确了是在特定的部署环境上进行，因此不需要特别为性能测试设计环境，只需要保证用于测试的环境与今后系统运行的环境一致即可。对于“规划能力”领域的性能测试来说，测试环境不特定，但也需要设计一个基准的环境。对于“性能调优”领域的性能测试来说，因为调优过程是一个反复的过程，在每个调优小阶段的末尾，都需要有性能测试来衡量调优的效果，因此必须在开始就给出一个用于衡量的环境标准，并在整个调优过程中，保证每次测试时的环境保持不变。-XXX(集团)股份限公司- 4.2 测试场景设计测试场景设计活动用于设计测试活动需要使用的场景。在“确定测试目标”活动中
13、，我们描述了如何确定测试目标，以及测试目标的一般描述，这个活动需要更详细地将测试目标转化为能够在测试执行中使用的内容。测试场景模拟的一般是实际业务运行的剖面，其包括业务、业务比例、测试指标的目标以及需要在测试过程中进行监控的性能计数器。场景名称场景名称场景业务及用户比例分配场景业务及用户比例分配测试指标测试指标性能计数器性能计数器用户登录登录业务，100%用户总用户数200人响应时间（5s）服务器CPU Usage服务器内存 Usage标准日常工作入帐业务，40用户查询业务，30用户统计业务，30用户总用户数200人响应时间（入帐6s）（查询5s）（统计10s）服务器CPU Usage服务器内
14、存 Usage测试场景示例测试场景示例-XXX(集团)股份限公司- 4.3 测试用例设计在设计完成测试场景之后，为了能够把场景通过测试工具体现出来，并能用测试工具顺利进行测试执行，因此有必要针对每个测试场景规划出相应的工具部署、应用部署、测试方法和步骤，这个过程就是我们要讨论的测试用例设计活动。测试用例是对测试场景的进一步细化，细化内容包括场景中涉及业务的操作序列描述、场景需要的环境部署等内容。“登录业务”用例设计例子：1、用户进入登录页面（访问http:/122.11.49.101:8080/login.aspx）2、用户输入正确的用户名和口令3、用户点击“登录”按钮4、等待直到出现登录成功
15、的页面，判断该页面成功显示的方法是HTML页面内容中的“欢迎”文本-XXX(集团)股份限公司- 4.4 脚本和辅助工具开发脚本和辅助工具的开发是测试执行之前的最后步骤，测试脚本是对业务操作的体现，一个脚本一般就是一个业务的过程描述。测试辅助工具指的是在测试中充当“桩模块”、“驱动模块”的程序，或提供辅助进行服务器性能监控的脚本等。测试脚本的开发通常基于“录制”，依靠工具提供的录制功能，可以将需要性能测试关注的业务在工具的录制下操作一遍，然后基于该录制后的脚本，对其进行修改和调试，确保其可以在性能测试中顺利使用。最常用的脚本修改和调试技巧是“参数化”、“关联”和“日志输出”等。-XXX(集团)股
16、份限公司- 5.测试执行与管理l建立测试环境l部署测试脚本和测试场景l执行测试和记录结果 测试执行与管理过程用于建立合适的测试环境，部署测试脚本和测试场景，执行测试并记录测试结果。-XXX(集团)股份限公司- 5.1 建立测试环境该活动用于搭建需要的测试环境。在设计完成用例之后就会开始该活动，该活动是一个持续性的活动，在测试过程中，可能会根据测试需求进行环境上的调整。建立测试环境一般包括硬件、软件系统环境的搭建，数据库环境建立，应用系统的部署，系统设置参数的调整，以及数据环境准备几个方面的工作内容。测试环境的维护，指的是为了测试结果的可比性，一般都需要在每次运行测试结束后恢复初始的测试环境。-
17、XXX(集团)股份限公司- 5.2 部署测试脚本和测试场景在建立和合适的测试环境之后，接下来的工作是部署测试脚本和测试场景。部署测试脚本和测试场景活动通过测试工具本身提供的功能来实现。部署活动最终需要保证场景与设计的一致性，保证需要监控的计数器都已经部署好了相应的监控手段。-XXX(集团)股份限公司- 5.3 执行测试和记录结果准备好环境和部署好测试脚本以及场景后，就可以执行测试并记录测试结果了。在测试工具的协助下，测试执行是非常简单的操作，一般只需要使用菜单或是按钮就可以完成；记录测试结果也可以依靠测试工具完成，通过测试工具的Monitor模块，可以获取并记录需要关注的性能计数器的值。在测试
18、工具本身不提供对需要关注的性能计数器进行监控的功能时，可以用一些操作系统的工具，自行编制部分脚本解决这个问题，一般的方法是用脚本调用操作系统提供的工具，在脚本实现中将各性能计数器值分析出来并按照一定格式记录在本地文件中。-XXX(集团)股份限公司- 6.测试分析l测试分析过程用于对测试结果进行分析，根据测试的目的和目标给出测试结论。l性能测试的挑战性很大程度上体现在对测试结果的分析上，可以说，每次性能测试结果的分析都需要测试分析人员具有相当程度的对软件性能的了解、对软件架构的了解、对各性能指标的了解。l测试分析过程是一个灵活的过程，很难给出一种具体的、能适应各种性能测试需要的统一的过程活动列表
19、。 性能分析的通用方法之一是“拐点分析”的方法。“拐点分析”方法是一种利用性能计数器曲线图上的拐点进行性能分析的方法，该方法的基本思想是基于这个事实：性能产生瓶颈是由于某个资源的使用达到了极限，此时的表现是随着压力增大系统性能表现急剧下降，因此，只要关注性能表现上的“拐点”，获得“拐点”附近的资源使用情况，就能够定位出系统的性能瓶颈。-XXX(集团)股份限公司- l l1. 1. 性能测试成员职责技能描述表性能测试成员职责技能描述表l l2. 2. 性能测试工具需求规划表性能测试工具需求规划表l l3. 3. 性能测试环境调查表性能测试环境调查表l l4. 4. 典型业务逻辑列表典型业务逻辑列表l l5. 5. 业务用例描述表业务用例描述表l l6. 6. 测试场景列表测试场景列表l l7. 7. 测试计划测试计划l l8. 8. 测试环境检查表测试环境检查表l l9. 9. 测试执行记录日志测试执行记录日志l l10. 10. 性能测试分析报告性能测试分析报告等等等等性能测试过程模板文件-XXX(集团)股份限公司- 案例分析案例分析（Web Service接口并发测试及IIS简单调优） -XXX(集团)股份限公司- The End
