《性能测试指标》由会员分享，可在线阅读，更多相关《性能测试指标（6页珍藏版）》请在金锄头文库上搜索。
1、性能测试指标介绍TPC-C作为一家非盈利性机构，事务处理性能委员会CTPC）负责定义诸如TPC-C、TPC-H和TPC-W基准测试 之类的事务处理与数据库性能基准测试，并依据这些基准测试项目发布客观性能数据。TPC基准测试采用 极为严格的运行环境，并且必须在独立审计机构监督下进行。委员会成员包括大多数主要数据库产品厂商 以及服务器硬件系统供应商。相关企业参与 TPC 基准测试以期在规定运行环境中获得客观性能验证，并通过应用测试过程中所使用的技 术开发出更加强健且更具伸缩性的软件产品及硬件设备。TPC-C是一种旨在衡量联机事务处理（OLTP）系统性能与可伸缩性的行业标准基准测试项目。这种基准 测
2、试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将 TPC-C视为衡量真实OLTP系统性能的有效指示器。TPC-C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务（tpmC）吞吐量。特别值得一提 的是，它将专门测量系统在同时执行其它四种事务类型（如支付、订单状态更新、交付及证券级变更）时 每分钟所生成的新增订单事务数量。独立审计机构将负责对基准测试结果进行公证，同时，TPC将出据一 份全面彻底的测试报告。这份测试报告可以从TPC Web站点（http:/www.tpc.org）上获得。tpmC定义：TPC-C的吞吐量，按有效TPC-C配置期间每分
3、钟处理的平均交易次数测量，至少要运行12 分钟。1TPC-C 规范概要TPC-C是专门针对联机交易处理系统（OLTP系统）的，一般情况下我们也把这类系统称为业务处理系统。 TPC-C测试规范中模拟了一个比较复杂并具有代表意义的OLTP应用环境:假设有一个大型商品批发商， 它拥有若干个分布在不同区域的商品库；每个仓库负责为10个销售点供货；每个销售点为3000个客户 提供服务；每个客户平均一个订单有 10项产品;所有订单中约1%的产品在其直接所属的仓库中没有存货， 需要由其他区域的仓库来供货。该系统需要处理的交易为以下几种： New-Or de r：客户输入一笔新的订货交易； Payment:更
4、新客户账户余额以反映其支付状况； Delivery: 发货（模拟批处理交易）; Order-Status:查询客户最近交易的状态； Stock-Level :查询仓库库存状况，以便能够及时补货。 对于前四种类型的交易，要求响应时间在5秒以内；对于库存状况查询交易，要求响应时间在20秒以内。 逻辑结构图：2评测指标TPC-C测试规范经过两年的研制，于1992年7月发布。几乎所有在OLTP市场提供软硬件平台的厂商都 发布了相应的TPC-C测试结果，随着计算机技术的不断发展，这些测试结果也在不断刷新。TPC-C的测试结果主要有两个指标：流量指标(Throughput，简称tpmC)按照TPC的定义，
5、流量指标描述了系统在执行Payment、Or de r-status、Delive ry、Stock-Level这 四种交易的同时，每分钟可以处理多少个New-Order交易。所有交易的响应时间必须满足TPC-C测试规 范的要求。流量指标值越大越好！性价比(Price/Performance，简称 Price/tpmC) 即测试系统价格(指在美国的报价)与流量指标的比值。性价比越小越好！3结果发布各厂商的TPC-C测试结果都按TPC组织规定的两种形式发布：测试结果概要(Executive Summary)和 详细测试报告(Full Disclosure Report)。测试结果概要中描述了主要
6、的测试指标、测试环境示意图以及 完整的系统配置与报价，而详细测试报告中除了包含上述内容外，还详细说明了整个测试环境的设置与测 试过程。P690 tpmC 测试值： 76,389,839.00$/tpmC：831.00美国美金报价：6,349,223.0CPU 数：32数据库：IBM DB2 UDB 8.1操作系统： AIX 5L V5.2中间件： TUXEDO 8.0测试日期： 2003.6.30P690 TPC-C 测试的配置：1 后台： 1 x eServer pSeries 690 with 32 x 1.7GHz POWER4+ processors with 128MB L3 cac
7、he per MCM （total of four MCMs）, 512GB memory2 前端： 30 x eServer pSeries 630 Model 6E4 each with 4 x 1.0GHz POWER4 CPUs with 32MB L3 cache, 16GB memorySPECweb:SPECweb96:在SPECweb96基准测试程序上实现的每秒钟超文本传输协议（HTTP）操作最多次数， 响应时间无明显退化。SPECweb99:接入数，网络服务器可用预先确定的工作量支持的同时接入数。SPECweb99检测设备模 拟客户通过慢Internet联接，向网络服务器发送
8、HTTP工作量请求。SPECweb99 测试 Web 服务器运行状况SPECweb99是由标准性能评估组织（SPEC）开发的Web服务器基准测试。它测量满足特定吞吐量和 客户请求响应速率要求的WEB服务器的最大并发连接数量。并发连接的合计波特率在320 Kbps到 400Kbps 范围内，则满足相应规范。SPECweb99 在一台称为主客户端的机器上运行，这台机器上包含有允许用户加载特定负载请求的配置文 件。主客户端也要处理在客户端和服务器或测试中的系统（SUT）之间的传输协调问题。客户端通过许多 子进程/线程生成独立HTTP请求流，仿真足够的负载发送给SUT。图二表示客户端/服务器的层次关系
9、。辉门堆1It主客户站廂动井客户斷窖户増请求 leb盯而吵.尺s It腳:n日鑿曲I赢务31返回曲貝面Ub KB (SIT)文件黑(o-$裁客户瑙图：典型的SPECweb99实验环境在这个测试中，客户端向测试中的服务器发送请求数据。测试规范要求客户端和服务器之间的连接不能使 用片段大小大于1460比特的TCP协议。因此，每一个客户端读取1460比特或更少数据块的响应。测试中使用两种类型的负载量：静态负载.静态负载具有四种类型的文件。最小的文件的增幅为0.1KB，第二种文件类型的增幅为1KB, 最后两种类型的文件的增幅为10KB和100KB。每一个目录包含每种类型9个文件共36个文件。目标请求的
10、文件类型在各类型中分散使用。在每一类中的9个文件中又进行二次分布。最终目标文件混合 为：35的请求文件小于 1 KB50的请求文件小于 10 KB14%的请求文件小于100 KB,但是大于或等于10 KB1 %的请求文件小于1000 KB,但是大于或等于100 KB动态负载动态负载是基于广告和用户注册。共有四种在SPECweb99中使用的请求内容类型，分别是标 准动态取操作、动态随机取操作、动态发送操作和客户图形接口动态取操作。标准动态取操作和客户图形 接口动态取操作表现web服务器的简单广告轮转特性。带有广告轮转的动态取操作追踪用户和用户选择， 所以广告可以由不同的方式来定制。最终，动态发布
11、实施一个用户注册在相应的网站上。P690 SPECweb99 测试值：21,000Web 服务器：Zeus 4.0操作系统： AIX 5L V5.1 (64-bit)CPU 数： 16测试日期： 2001-10-1测试配置： 16 x 1.3GHz POWER-4 Processors w/1440KB unified on chip L2 cache, 192GB memory, 32 x 32 IBM Gigabit Ethernet-SX PCI controllers, 32 x Gigabit Ethernet network (1 Gigabit/sec ), 96 x Clien
12、ts (4 x 375MHz POWER3-II, RS/6000 44P-270), Requested Connections = 21000, Max Fileset Size = 67319.6MBP650 SPECweb99 测试值： 12,400Web 服务器： Zeus 4.1r3操作系统： AIX 5L V5.2 (64-bit)CPU 数： 8测试日期： 2002-10-1测试配置： 8 x 1.45GHz POWER4+ processors w/1.5MB(I+D) unified on chip L2 cache, 32MB unified off chip/SCM L
13、3 cache, 64GB memory, 8 x Gigabit Ethernet-SX PCI-X controllers, 8 x Gigabit Ethernet network (1 Gigabit/sec ), 48 x Clients (6 x 668MHz RS64-IV, pSeries 620 Model 6F1), Requested Connections = 12400, Max Fileset Size = 39801.28MBp630 SPECweb99 测试值： 6,895Web 服务器： Zeus 4.2r1操作系统： AIX 5L V5.2(64-bit)C
14、PU 数： 4测试日期： 2003-2-1测试配置： 4 x 1450MHz POWER4+ Processors w/1536KB(I+D) unified on chip L2 cache, 8MB unified (off chip)/SCM L3 cache, 32GB memory, 4 x Gigabit Ethernet-SX PCI-X controllers, 4 x Gigabit Ethernet networks (1 Gigabit/sec ), 24 x Clients (4 x 375MHz POWER3-II, pSeries 640 Model B80), R
15、equested Connections = 6900, Max Fileset Size = 22199.12MBNotesBench:NotesBench 是测试各种不同 Lotus Notes 方面的驱动程序。目的是执行自定义工作量教本中的命令，模 拟客户机的操作。NotesBench测试仅测试邮件”和测试邮件和数据库”。所有已经公布的IBM结果均为 “仅测试邮件工作量”。p680 NotesBench 测试值：150,197用户数：108,000平均反应时间：0.584秒Domino服务器版本：5.06a操作系统： AIX 4.3.3CPU 数： 4测试日期： 2001.11.20测试配置： IBM eServer pSeries 680 (24*RS64 IV/600MHz; 96GB RAM, 30 Partitions)
