性能测试之基准测试

《性能测试之基准测试》由会员分享，可在线阅读，更多相关《性能测试之基准测试（8页珍藏版）》请在金锄头文库上搜索。

1、性能测试之基准测试一、基准测试1、定义通过设计合理的测试方法，选用适宜的测试工具和被测系统，实现对某个特定目标场景的 某项性能指标进行定量的和可比照的测试。2、特质 、可重复性：可进行重复性的测试，这样做有利于比拟每次的测试结果，得到性能结果 的长期变化趋势，为系统调优和上线前的容量规划做参考。PS:这种特质是为了满足基准测试的日常轮询需要。 、可观测性：通过全方位的监控包括测试开始到结束，执行机、效劳器、数据库， 及时了解和分析测试过程发生了什么。 、可展示性：相关人员可以直观明了的了解测试结果web界面、仪表盘、折线图树状图等形式。 、真实性：测试的结果反映了客户体验到的真实的情况真实准确

2、的业务场景+与生产一致的配置+合理正确的测试方法。 、可执行性：相关人员可以快速的进行测试验证修改调优可定位可分析。3、前置条件基准测试一定要在可控的条件下进行。面对日益复杂的系统和不断增长的用户数，以及性能测试可能涉及到的多个业务系统，只有做到基准测试所涉及的业务场景、系统架构、测试环境等在可控状态下，才能得到相对准确的结果，为容量规划、缺陷定位、系统调优提供参考和依据。4、意义 、为容量规划确定系统和应用程序的极限； 、为配置测试的参数和配置选项提供参考依据； 、为验收测试确定系统是否具备自己所宣称的能力； 、为性能基线的建立提供长期的数据统计来源以及比拟基准;5、前提 、测试目的：明确测

3、试的目的，测试什么？用什么测试方法、策略？ 、测试环境：被测系统的环境是什么，SIT还是UAT活着PAT? 、测试限制：要执行测试有哪些限制因素，该如何解决？ 、风险因素：测试可能存在哪些风险，解决方案是什么？ 、结果分析：对测试结果如何分析？测试产生的数据如何分析、定位？6、原那么 、测试策略：稳定且连续的工作负载，屡次运行，看测试结果数据的正态分布趋势，尽 量取平均值； 、数据统计：真实环境下测试数据的平均值、峰值各是多少，取值的维度； 、差异风险：明确存在哪些风险，风险对测试结果的影响，是否忽略； 、特殊情况：有哪些特殊情况，是否有对应的解决方案比方支付场景中的支付效劳调用，是否采用挡板

4、等；7、需要考虑的因素交易配比：某些业务场景，一个流程包含多个事务，在模拟并发中，不同的事务各自的占 比；突发性的读写操作：某些特殊业务场景，会有短时的大流量冲击或者请求数量骤减，该如何模拟浪涌测试；系统配置：不同环境的系统配置不同，测试结果如何换算、如何比照？测试时长：测试执行过程中，运行多长时间，不同交易运行的时间分配等；结果展示类型：平均值、峰值、百分比值如何展示，如何比照？成功/失败占比：每次测试过程中，成功和失败的事务占比统计；是否可重现：如测试过程中出现报错或某些异常情况，是否可以重现？是否可比照：是否有其他测试工具或者测试结果进行比照尽量屡次执行测试，进行测试 结果比照：标准方差

5、、正太分布 了解一下？8、简单可行的方法逐渐增加系统负载是一个确定系统所能处理的最大吞吐量的简单方法，也是寻找系统性能 拐点的可行策略阶梯式加压测试。9、重点基准测试的工作重点是统计分析：可以从以下几个维度去进行统计： 、选择适宜的测试工具，设定合理的测试方法以及需要确认的系统性能指标； 、选择不同的测试工具，对测试结果进行比照，选择稳定且能反响系统真是性能表现的结果； 、屡次执行测试，收集大量的测试数据集和指标； 、从不同维度解读分析数据，生成报告。二、基准测试MVP方案1、思维导图d 核 M4I博-Q：i建埋*弓目I .污恭知不整*2 ii r MiA.TTSdTk舛彘逸卒掖嫌IV日基扪袍

6、诚疗用姓W统.* 维，宅4njKkff I Ji 4我虹分n - -iTT丑七匚i_e- ?g打伊；i TT -ri，m x Mock/J-Ttk，i个比晋i时甸推世羸或占/1位首相中:涸蜗沛畔j2、测试策略策略名称阈值运行时间性能指标基线注释并发测试CPU75%+Error0.01%1030min并发数、TPS、 RT、内存占比并发基线并发测试得到的结果可以作为实际生产环境峰值流量下的性能表现容量测试CPU v100%+Error0.01%1030min并发数、TPS、 RT、内存占比容量基线一般来说90%即可作为阈值双节点测试CPU v100%+Error0.01%1030min并发数、T

7、PS、 RT、内存占比负载均衡基线应考虑随着效劳节点的增加，性能的递减效应，一般每增加 1个节点，理论上性能递减2-5% 以实际测试结果为准稳定性测试CPU75%+Error0.01% 12h并发数、TPS、 RT、内存占比稳定性基线稳定性的运行时间根据具体情况调整，一般不能低于12h3、系统配置nCnG :性能测试可能涉及多个系统，每个系统的效劳器配置存在不同，因此要明确不同 系统的硬件配置，这样也方便针对性的设定测试策略以及分析性能指标。内存分配：这里主要指的是堆内存分配，需要根据具体的效劳器配置进行分配，当然，最 好针对性的进行配置测试来确定内存的合理分配。应用版本：以JDK为例，每个版

8、本都有不同的改良和优化，且被测系统环境应与实际生产 环境保持一致的版本。线程池：线程池数量，也是一个需要重视的问题我本人就遇到过由于线程耗尽最终导致的 OOM 。最大连接数：容器、DB的最大连接数，消息队列的消费者数量，也是一个需要考虑的因 素。缓存策略：为了提高系统应对大流量冲击以及提高可用性，缓存是离不开的一种方法，这 里需要关注的是缓存命中以及缓存穿透的问题。4、环境选型SIT: 一般来说很少在 SIT环境进行基准测试，原因很多，比方：交叉影响、稳定性、配置 不一致甚至多个工程部署在同一个SIT环境等。UAT :大多数时候，性能测试都是在UAT环境下进行，因为 UAT相比SIT稳定性更好

9、,已经通过了系统测试阶段，且进行性能测试的本钱相比生产环境更低。PAT :在生产环境进行性能测试，测试结果的准确性是最高的，但也需要考虑到这几点因 素：数据污染、隔离、改造本钱、不能影响实际生产业务运行、测试时间等。5、执行方式稳定施压：上面提到的并发、容量、双节点、稳定性测试一般都是基于一个固定的并发数 来模拟负载进行测试，具体的并发数值需要根据实际的用户数、使用频次、业务场景考虑。 浪涌测试：在实际生产环境中，有时候存在这种情况：短时间内有很高的流量冲击，比方 限时秒杀等场景。阶梯式加压：阶梯式加压是寻找系统拐点的最有效的方式。6、风险预估在进行基准测试前，要考虑到以当前的环境、业务模型、

10、系统配置可能存在哪些影响测试 的因素，以及影响程度、应对策略，比方：网络延时、网络波动、交叉影响等。7、业务模型基准测试的业务模型选择，无论是从实施难易程度或者本钱考虑，一般都以以下三种类型 出发：核心业务：一般来说核心业务的重要性和使用频次都是优先级最高的，比方支付、订单。 高频次业务：查询、更新等高频操作场景，也是需要重点关注的场景。日常轮询业务：基准测试的实施前提就是可重复执行和长时间进行测试，这样才可以进行 比照和统计，来分析长期的系统性能基线变化。8、工具选型性能测试过程中，需要借助的工具很多，使用占比最高的为以下几种：负载生成工具：比方 Jmeter、Loadrunner 、Loc

11、ust、Gatling、Artillery 。应用监控工具：主要用来监控效劳端的各项指标，比方 Nmon、Skywalking 。代码分析工具：比方SonarQube、Codacy , 一般结合持续集成工具来进行。日志分析工具：比方现在最常用的 ELK。DB 监控工具：比方 Zabbix、DBMonitor 。9、异常处理在性能测试过程中，经常会遇到一些异常情况，比方超时、失败、接口依赖、敏感数据等 情况，针对这些情况，设计合理可行的解决方案。10、统计维度测试的结果一定要方便从各个层次、维度进行统计，这样可以为后续的分析提供更可靠的 数据来源，以响应时间来说，一般从以下几个维度统计：维度举例

12、适用测试策略峰值取系统CPU在75%左右的表现进行屡次统计，加权平均计算并发测试极值取系统CPU V 100%的表现进行屡次统计，加权平均计算容量测试平均值平均值的统计，比拟适用于响应时间波动不大的情况双节点测试百分比值对于效劳集群部署或者分布式部署的系统，百分比值，更能反映系统的性能表现稳定性测试11、查询展示上篇博客介绍过，基准测试的结果一定要便于统计展示，可以明了直观的展示给相关人员,般来说，可以从不同维度，粒度从大到小的形式进行查询展示，比方:维度说明时间范围比方默认展示最近一个月的基准变化，也可以设置根据时间来查询不问时间范围内的基准表现系统名称对于涉及对个业务系统的情况，可以根据系统名称进行查询业务模型从核心业务、高频次业务、日常轮询业务等维度，进行展示测试策略根据基准测试的策略，从并发、容量、双节点、稳定性等角度进行查询展示可以通过web页面、仪表盘、折线图、树状图 等形式，进行不同角度的系统基准表现展 示，具体如何设计，可以进行需求调研，然后针对性的设计。