1. 1. 基本概念基本概念2. Benchmarks2. Benchmarks3. 3. 实例实例1 1：通信：通信LogPLogP评价模型评价模型4. 4. 实例实例2 2：：WebWeb应用性能评价应用性能评价5. 5. 实例实例3 3：：EmailEmail应用性能评价应用性能评价6. 6. 总结总结内容内容 评价计算机系统评价计算机系统 价格、服务、应用软件、质量、价格、服务、应用软件、质量、 功能、升级能力、性能功能、升级能力、性能 桌面系统性能评价桌面系统性能评价 处处理理器器主主频频、、内内存存大大小小、、内内存存总总线线带带宽宽、、I/OI/O总总线线性性能能、、图图形形卡卡指指标标、、OSOS指标指标运行运行WinBenchWinBench测试软件测试软件客户端系统客户端系统 计算机系统组成计算机系统组成MemoryCPUOSNetwork，StorageApplication性能评测性能评测性能分析性能分析 执行时间（执行时间（CPUCPU时间、墙上时间、时间、墙上时间、Elapsed TimeElapsed Time））峰值速度峰值速度 Peak PerformancePeak Performance负载负载 loadload开销开销 OverheadOverhead利用率利用率 Utilization Ratio Utilization Ratio 饱和性能饱和性能 Saturate Performance Saturate Performance 概念概念 带宽带宽 BandwidthBandwidth延迟延迟 LatencyLatency吞吐率吞吐率 ThroughputThroughput加速比加速比 SpeedupSpeedupAmdahlAmdahl定律定律 Amdahl Law Amdahl Law 效率效率 EfficiencyEfficiency概念概念 基准测试基准测试 BenchmarkBenchmark微基准测试微基准测试 Micro-benchmarkMicro-benchmark宏基准测试宏基准测试 Macro-benchmarkMacro-benchmark机器平衡值机器平衡值 System BalanceNumberSystem BalanceNumber概率分布概率分布 Possibility DistributionPossibility Distribution响应时间响应时间 Response TimeResponse Time概念概念 用性能评价软件包，了解系统性能，用性能评价软件包，了解系统性能， 对用户选型和配置提出建议对用户选型和配置提出建议针对不同应用，不同软硬件配置能进针对不同应用，不同软硬件配置能进行性能评价和优化，对用户使用系统行性能评价和优化，对用户使用系统提出性能上的建议提出性能上的建议建立理论模型，对系统的性能进行预建立理论模型，对系统的性能进行预测测基本作用基本作用 没有一个标准能反映计算机系统的全部没有一个标准能反映计算机系统的全部性能，它们代表的只是性能的一个侧面。
性能，它们代表的只是性能的一个侧面常用的标准常用的标准 定点性能定点性能 浮点性能浮点性能 WebWeb服务性能服务性能 数据处理性能数据处理性能 系统软件性能系统软件性能 科学与工程计算性能科学与工程计算性能Benchmarks SPECint95SPECint95SPECSPEC：：Standard Performance Evaluation Standard Performance Evaluation CorporationCorporation反映评测系统的单处理器的定点运算性能反映评测系统的单处理器的定点运算性能8 8个真实的应用：仿真技术、人工智能、图像处理、个真实的应用：仿真技术、人工智能、图像处理、压缩算法、编译器、解释器、数据库压缩算法、编译器、解释器、数据库用运行用运行8 8个应用的标准时间，除以实际运行时间得个应用的标准时间，除以实际运行时间得到一个比值，到一个比值，SPEC_int95SPEC_int95是这是这8 8个比值乘积的开个比值乘积的开8 8次次方得到的值方得到的值SPECint_base95SPECint_base95采用最保守的优化策略采用最保守的优化策略 定点性能定点性能 SPECint_rate95SPECint_rate95反映具有多个处理器系统的性能的可扩展性，允反映具有多个处理器系统的性能的可扩展性，允许每个应用同时运行多个实例许每个应用同时运行多个实例比值的计算方法：运行次数比值的计算方法：运行次数* *（应用标准运行时间（应用标准运行时间* *1 1天中的秒数天中的秒数/8/8个应用中最长的标准运行时间）个应用中最长的标准运行时间）/ /多次运行的总时间，多次运行的总时间，SPECint_rate95SPECint_rate95是这是这8 8个比值个比值的乘积开的乘积开8 8次方。
次方SPECint_base_rate95SPECint_base_rate95采用最保守的编译优化策略采用最保守的编译优化策略定点性能定点性能 SPECint2000SPECint2000 1212个应用：压缩算法、编译器、优化组合、个应用：压缩算法、编译器、优化组合、棋类游戏、字处理、可视化、棋类游戏、字处理、可视化、PERLPERL语言、群论语言、群论解释器、面向对象数据库、仿真技术解释器、面向对象数据库、仿真技术.DhrystoneDhrystone发布于发布于1984年，主要包含两类语句，字符串赋年，主要包含两类语句，字符串赋值和字符串比较值和字符串比较定点性能定点性能 SPECfp95SPECfp95评测系统的单处理器的浮点运算性能评测系统的单处理器的浮点运算性能10个真实的应用：流体力学、天气预报、量子个真实的应用：流体力学、天气预报、量子物理、天文、电子物理、天文、电子SPECfp_base95SPECfp_base95采用最保守的编译优化策略采用最保守的编译优化策略SPECfp_rate95SPECfp_rate95反映具有多个处理器系统的浮点性能的可扩展性反映具有多个处理器系统的浮点性能的可扩展性SPECfp_base_rate95SPECfp_base_rate95采用最保守的编译优化策略采用最保守的编译优化策略 浮点性能浮点性能 SPECfp2000SPECfp200014个应用：量子色动、浅水模型、三维电势场、个应用：量子色动、浅水模型、三维电势场、抛物线抛物线/椭圆偏微分方程、三维图像库、计算流体椭圆偏微分方程、三维图像库、计算流体力学、图像识别力学、图像识别/神经网络、地震波传播仿真、图神经网络、地震波传播仿真、图像处理像处理/人脸识别、计算化学、数论、有限元碰撞人脸识别、计算化学、数论、有限元碰撞仿真、高性能物理加速器设计、污染分布计算仿真、高性能物理加速器设计、污染分布计算FlopsFlops反映系统单处理器的峰值浮点运算能力反映系统单处理器的峰值浮点运算能力通过指令的不同组合来得到浮点加、减、乘、除通过指令的不同组合来得到浮点加、减、乘、除的计算能力，尽量使用寄存器，少与内存交互的计算能力，尽量使用寄存器，少与内存交互浮点性能浮点性能 WebWeb服务性能服务性能SPECweb96SPECweb96评价评价Web响应用户响应用户Web点击的性能点击的性能由客户端向服务器发送由客户端向服务器发送HTTP GET请求请求SPECweb96值是服务器每秒能够支持的连接数量值是服务器每秒能够支持的连接数量SPECweb99SPECweb99评价了评价了Web服务器综合性能服务器综合性能每个客户端运行于每个客户端运行于400Kb/s的线路上的线路上服务器最多支持服务器最多支持320Kb/s以上的客户端连接数以上的客户端连接数不仅支持不仅支持HTTP GET操作，还支持操作，还支持POST和和Cookie WebstoneWebstoneSGISGI在在19951995年年开开发发，，评评测测系系统统在在不不同同环环境境、、不不同同负负载载模模式式下下的的WebWeb服务性能服务性能模拟的多个客户端向服务器上的指定页面发送模拟的多个客户端向服务器上的指定页面发送HTTP GETHTTP GET请求请求负负载载由由客客户户端端数数量量和和文文件件集集确确定定，，每每个个文文件件集集由由一一定定数数量量的的文文件件组组成成，，几几个个文文件件组组成成一一个个页页面面，，代代表表页页面面内内容容由由图图像像、、动动画画、、声声音、文本多个文件构成音、文本多个文件构成每个页面有与之相关的权重，权重越高，被访问的机会越大每个页面有与之相关的权重，权重越高，被访问的机会越大WebstoneWebstone结结果果：：系系统统吞吞吐吐量量（（MB/sMB/s））、、延延迟迟（（完完成成一一个个页页面面请请求求的时间）、每分钟传送的页面数目、平均连接率、失效率的时间）、每分钟传送的页面数目、平均连接率、失效率WebWeb服务性能服务性能 数据处理性能数据处理性能Debit Credit1984年年Tandem公司的公司的Jim Gray提出提出模拟一个具有多家分支机构银行的出纳操作，采用模拟一个具有多家分支机构银行的出纳操作，采用California银银行行1970年的数据年的数据只包含银行存款帐户行为一种类型的事务只包含银行存款帐户行为一种类型的事务存款行为记录文件：帐户文件、分支机构文件、出纳文件、操存款行为记录文件：帐户文件、分支机构文件、出纳文件、操作顺序的历史数据文件作顺序的历史数据文件帐户的规模、分支机构数据是系统吞吐量函数，例如：每个帐户的规模、分支机构数据是系统吞吐量函数，例如：每个TPS应配置应配置10个分支机构，个分支机构，100个出纳员，个出纳员，100000个帐户信息个帐户信息规定每次出纳操作的时间固定为规定每次出纳操作的时间固定为100秒，合法的结果应有秒，合法的结果应有95%的的事务在事务在1秒内完成秒内完成 TPCTPC：： Transaction.Processing Transaction.Processing Performance Performance CouncilCouncil，成立于，成立于19881988年年评评测测计计算算机机系系统统进进行行事事务务处处理理和和数数据据库库操操作作的的性性能能TPC-ATPC-A使用不同的输入和查询数据使用不同的输入和查询数据修改密集型事务修改密集型事务评价联机事务处理（评价联机事务处理（OLTPOLTP）的性能）的性能19951995年后不再使用年后不再使用TPC-BTPC-B集中式数据库处理集中式数据库处理不需要终端和网络不需要终端和网络数据库操作有大量的磁盘数据库操作有大量的磁盘I/O中等量级的系统和应用执行时间中等量级的系统和应用执行时间有很多处理之间的集成操作有很多处理之间的集成操作数据处理性能数据处理性能 TPC-C1992年开发年开发用远程终端模拟器模拟大量的终端用户用远程终端模拟器模拟大量的终端用户模拟存在大量地理上分散部门的企业的行为模拟存在大量地理上分散部门的企业的行为数据库结构复杂，多种事务处理模型、执行模式，热点现象，数据库结构复杂，多种事务处理模型、执行模式，热点现象，全屏终端全屏终端I/O格式化数据，透明的数据分区和事务处理的回滚格式化数据，透明的数据分区和事务处理的回滚一般表示为一般表示为tpmC和和$/tpmC（（Transactions Per Minute Computer））五种事务：付款五种事务：付款(payment)、订单状态查询、订单状态查询(order-status)、、发货发货(delivery)、库存级别、库存级别(stock-level)、新订单、新订单(new-order)每种事务都有响应时间的要求，如每种事务都有响应时间的要求，如new-order设置为设置为5秒秒tpmC是系统在满足其它是系统在满足其它4类事务响应时间要求的前题下，类事务响应时间要求的前题下，在在1分钟内处理分钟内处理new-order事务的数量事务的数量数据处理性能数据处理性能 TPC-D决决策策支支持持应应用用，，用用于于测测试试系系统统支支持持耗耗时时的的、、只只读读的数据库操作的性能的数据库操作的性能每每个个复复杂杂的的查查询询都都要要存存取取数数据据库库的的大大部部分分数数据据，，进行多次进行多次join, sort, group, scan等操作等操作17个复杂查询和个复杂查询和2个修改操作个修改操作极极大大程程度度地地依依赖赖于于查查询询的的优优化化、、数数据据库库表表格格的的划划分方法、分方法、SQL的效率、和高级索引技术的效率、和高级索引技术 数据处理性能数据处理性能 LmbenchSGI开发，测试操作系统性能开发，测试操作系统性能操操作作系系统统指指标标：：空空系系统统调调用用时时间间，，进进程程切切换换时时间间，，pipe、、UDP、、TCP、、RPC的的延延迟迟和和带带宽宽，，内内存存、、Cache、、TLB的读写性能，存储映射的性能的读写性能，存储映射的性能既既能能反反映映计计算算机机系系统统的的一一些些基基本本性性能能指指标标，，也也能能反反映操作系统实现的优劣映操作系统实现的优劣系统软件性能系统软件性能 Netperf评评测测计计算算机机系系统统的的网网络络性性能能，，也也可可用用来来评评测测DLPI（（Data Link Provider Interface）），，Unix Domain Socket的性能的性能TCP、、UDP的带宽和请求应答数的带宽和请求应答数按按照照客客户户机机/服服务务器器模模式式设设计计，，结结果果数数据据是是在在用用户户设设定的时间段内，两者之间传递的最大数据量定的时间段内，两者之间传递的最大数据量 系统软件性能系统软件性能 SPECsfs97评测系统的评测系统的NFS性能性能采采用用客客户户机机/服服务务器器模模式式，，客客户户机机向向服服务务器器发发送送特特定定的的NFS请请求求，，得得到到NFS文文件件服服务务器器的的吞吞吐吐量量和响应时间和响应时间SPECjvm98使用使用8个应用来评测个应用来评测JAVA虚拟机的性能虚拟机的性能系统软件性能系统软件性能 LinpackLINear algebra PACKages解线性方程组和线性最小二乘问题解线性方程组和线性最小二乘问题1000x1000标准标准计算饱和峰值计算饱和峰值Top500科学与工程计算性能科学与工程计算性能 NAS美美国国NASA的的NAS (Numerical Aerodynamic Simulation) 研研究究组开发组开发8个个空空气气动动力力学学计计算算类类应应用用：：5个个核核心心程程序序和和3个个伪伪应应用用，，EP、、多重网格求解、共轭梯度方程求解、三维多重网格求解、共轭梯度方程求解、三维FFT、整数排序、整数排序早期的巨型机和向量机都采用早期的巨型机和向量机都采用NAS Benchmark并行版本并行版本NPBPerfectPERFormance Evaluation for Cost-effective TransformationsHPCG组织开发，用于评测传统的向量巨型机组织开发，用于评测传统的向量巨型机 科学与工程计算性能科学与工程计算性能 SPLASHStanford大学开发，评测共享存储系统性能大学开发，评测共享存储系统性能7个完整的应用和个完整的应用和5个计算核心程序个计算核心程序科学与工程计算，计算机图形学方面的并行程序科学与工程计算，计算机图形学方面的并行程序ParkBench评价大型可扩展系统的计算性能评价大型可扩展系统的计算性能micro-benchmark：：获获取取单单处处理理器器的的有有关关体体系系结结构构和和编编译译器器的的基基本本性性能能参参数数；；测测试试内内容容包包括括时时钟钟调调用用、、算算术术运运算算、、内内存存带宽和延迟、通信延迟和带宽、全局同步操作性能等带宽和延迟、通信延迟和带宽、全局同步操作性能等kernel-benchmark：：矩矩阵阵运运算算、、FFT、、偏偏微微分分方方程程、、NAS核核心心，，I/O Benchmarkcompact application：：气气候候模模型型、、计计算算流流体体动动力力学学、、财财务务模模型型、、分子动力学、等离子物理、量子化学、水库模型分子动力学、等离子物理、量子化学、水库模型compiler：评价：评价HPF编译器编译器科学与工程计算性能科学与工程计算性能 基基本本性性能能参参数数：：CPU、、内内存存、、I/O、、网网络络、、操作系统、文件系统、编译器、数据库操作系统、文件系统、编译器、数据库核核 心心 Benchmark：： SPECweb, TPC-C, TPC-D, TPC-W, Linpack，，MM5，，PRIS，，FFT，，Guass98实实际际应应用用：：较较真真实实的的硬硬件件配配置置和和软软件件环环境境下下，，用用实实际际应应用用或或简简化化的的、、规规模模缩缩小小的的实际应用评价系统的真实性能实际应用评价系统的真实性能评价服务器性能的基本方法评价服务器性能的基本方法 误区一：误区一：处理器主频越高的系统性能越好。
处理器主频越高的系统性能越好误区二：误区二：SPEC值越高系统性能越好值越高系统性能越好误区三：误区三：用户用户A的应用运行效果很好，所以的应用运行效果很好，所以 计算机系统的性能很好计算机系统的性能很好误区四：误区四：系统配置越大，性能越好系统配置越大，性能越好误区五：误区五：采用最新先进技术的系统，性能采用最新先进技术的系统，性能 越好评价计算机系统的常见误区评价计算机系统的常见误区 1. 求1..80M(83,886,080)之间的所有质数2.递归法求解Ackerman(3,10)3.使用DES算法加密160K的内存文件16次4.起泡法排序10,000个整数5.两个1000x1000的整数方阵相乘6.分解质因数定点性能评测算法选择定点性能评测算法选择 定点性能评测结果定点性能评测结果 1.使用atan(1)的级数展开来求无理数π2.用高斯消元法求解线性方程组3.两个1000x1000的浮点方阵相乘4.使用牛顿迭代法求解方程的根5.判断sin，cos，exp等函数的性能浮点性能评测算法选择浮点性能评测算法选择 浮点性能评测结果浮点性能评测结果 内存拷贝带宽内存拷贝带宽 只关心系统的性能，不关心评测结果的只关心系统的性能，不关心评测结果的产生原因，无法探知系统的瓶颈，只能产生原因，无法探知系统的瓶颈，只能为用户选择系统提供帮助，不能对优化为用户选择系统提供帮助，不能对优化提供帮助。
提供帮助 只局限于计算机系统的某一层次，不能只局限于计算机系统的某一层次，不能得到系统整体的性能特征得到系统整体的性能特征评测程序缺陷评测程序缺陷 1. Point-to-Point1. Point-to-Point2. 2. 性能指标性能指标3. 3. 对应用的影响对应用的影响实例实例1：通信性能评测：通信性能评测 LogP通信模型ogooLt0发送结点接收结点发送发送接收 LogGP通信模型l在在LogP上增加了块间隔（上增加了块间隔（bulk gap））G–G = 1/r∞∞l四个参数四个参数–网络时延网络时延L–处理器开销处理器开销o–间隔间隔g–带宽带宽1/G LogGP对性能的影响l应用对开销应用对开销o最敏感最敏感–当开销由当开销由2.9μs增至增至100μs，应用减慢，应用减慢50倍倍l应用对间隔应用对间隔g敏感，但不如开销敏感，但不如开销o–当间隔由当间隔由5.8μs增至增至105μs，有的应用不，有的应用不受影响，有的减慢受影响，有的减慢16倍倍l大多数应用对网络时延大多数应用对网络时延L不敏感不敏感l大多数应用对通信系统的块带宽大多数应用对通信系统的块带宽1/G不敏感不敏感 1. Web Service1. Web Service性能性能2. 2. 性能因素分解性能因素分解3. 3. 经验预测经验预测实例实例2：：Web应用性能评价应用性能评价 Web服务器客户端……客户端客户端400kb/s400kb/s400kb/s……SpecWeb99的结构的结构 SpecWeb99在曙光在曙光2000-II上的评测结果上的评测结果 分析步骤分析步骤步步骤骤一一：：功功能能分分解解步步骤骤二二：：性性能能评评测测步步骤骤三三：：性性能能分分析析 步骤一：功能分解步骤一：功能分解Web服务请求接受连接读请求获取页面 发送页面 关闭连接acceptopenreadwriteclose 操作系统层次计算性能层次应用程序层次LmbenchSpecIntSpecWeb99计算机系统性能评价计算机系统性能评价 步骤二：性能评测步骤二：性能评测项项 目目结结 果果硬件配置CPU(MHz)网卡(Mb)内存大小(MB)333100512OS结果内存拷贝(MB/s)调用延迟(μs)803.9定点运算结果2.5 SpecWeb99的经验公式的经验公式单节点：单节点：Web=Min(C1N, C2Ms+C3FP) - ψ(F, Mc, Ms, Ds)Web：：SpecWeb99中定义的结果中定义的结果N: 网卡性能网卡性能，，Mb/sC1 = 2.5 Ms: 内存拷贝内存拷贝，，MB/sC2 = 1.3 FP: 定点运算性能定点运算性能，，C3 = 15 ψ(F,Mc,Ms,Ds)=0 Mc>=FC4(F – Mc)(Ms / Ds) Mc < FF: 文件集大小文件集大小, MBMc：：内存大小内存大小，，MBMs: 内存拷贝速度内存拷贝速度，，MB/sDs: 磁盘读写速度磁盘读写速度，，MB/sC4 = 2SpecWeb99的经验公式的经验公式 步骤三：性能分析步骤三：性能分析网卡：网卡：100Mb/400Kb = 250拷贝：拷贝：80MB/600KB = 133调用延迟：调用延迟：3.9 μs 忽略忽略 定点运算：定点运算： 满足需要满足需要 预测结果：预测结果：130实际结果：实际结果：139 SpecWeb99的经验公式的经验公式多节点多节点Cluster结构：结构：Webpr为为PowerRouter的的Web值，值，Webcl为为Cluster节点节点Web值值 1. Benchmark1. Benchmark设计设计2. Email Service2. Email Service性能性能3. 3. 理论模型理论模型实例实例3：：Email应用性能评价应用性能评价 Email评测程序结构评测程序结构客户端客户端…...Email 服务器DaemonTCPTCPSMTP/POP3SMTP/POP3 Mail评测程序详细结构图评测程序详细结构图客户端主客户端主控线程控线程统统计计负载产生负载产生负载产生负载产生客户端主客户端主控线程控线程统统计计负载产生负载产生负载产生负载产生主主 客客 户户 端端Daemon客户端主客户端主控线程控线程统统计计负载产生负载产生负载产生负载产生Mail 服务器服务器TCP/IPSMTP/POP3客客户户端端服服务务器器 Email Benchmark状态流转图状态流转图等待等待创建创建同步同步预热预热评测评测结束结束 Email BenchmarkEmail Benchmark在曙光在曙光在曙光在曙光2000-II2000-II上的评测结果上的评测结果上的评测结果上的评测结果 Email评测程序经验公式评测程序经验公式Email = C1Mc + C2(Dw+Dr) + C3FPEmail: Dawning Email2000 定义的结果，定义的结果，Op/HrMc:内存大小，内存大小，MBDw:磁盘读带宽，磁盘读带宽，MB/sDr:磁盘写带宽，磁盘写带宽，MB/sFP: 定点运算性能定点运算性能C1 = 32 (Op /Hr) / MBC2 = 700 (Op / Hr) / ( MB / s )C3 = 150 (Op/Hr) ①① 物理模型物理模型 1.DC：目录服务器：目录服务器 2.SMTP：：SMTP服务器服务器 3.Pass：中继服务器：中继服务器 4.mail：邮件服务器，用作处理邮件：邮件服务器，用作处理邮件中心域中心域DCSMTPPass3Pass1子域1Mail 11Mail 12Client1Client n子域2Pass2Mail 21Mail 22Client 1Client n ②② 排队论理论基础排队论理论基础 组成：组成：1.输入过程；输入过程； 2.排队规则；排队规则； 3.服务机构；服务机构；到达者到达者队列队列服务机构服务机构离开离开 定义：定义：1.输入强度：输入强度：λ指相继顾客到达的时间间隔指相继顾客到达的时间间隔 的强度的强度 2.服务强度：服务强度：μ指在系统存在顾客时，相继离指在系统存在顾客时，相继离 开系统的开系统的2个顾客的时间间隔的强度个顾客的时间间隔的强度求解：求解：WS 顾客在系统中的逗留平均时间顾客在系统中的逗留平均时间λ，，μ均服从负指数分布，排队为无限长的单队列，均服从负指数分布，排队为无限长的单队列，服务机构为单服务台服务机构为单服务台 WS =1μ-λμ-λ ③③ 资源依赖资源依赖 发信强度为：发信强度为：λ1 收信强度为：收信强度为：λ2 查询强度为：查询强度为：λ3 λ2λ2λ3λ3λ1λ1λ2λ2λ3λ3mail网卡网卡网卡网卡λ3λ3λ3+λ2λ3+λ2λ1+λ2+λ3λ1+λ2+λ3DC4λ3λ3CPUmail12λ1+λ2λ1+λ2Diskmail3λ2λ2λ1λ1λ3λ3Disk5DC ④④ 用户请求的分解示例用户请求的分解示例 1.发信发信 2.收信收信 3.查询查询 mailmail网卡网卡CPUDiskmail网卡网卡CPUDisk网卡网卡mailmailmailmailmailmailmailDC网卡网卡CPU网卡网卡网卡网卡Disk网卡网卡网卡网卡DCDCmail ⑤⑤ 解法解法依据排队网络理论，计算每处队列处的WS，则可估算某个请求在服务器端的平均响应时间。
例如发信经过网卡，CPU，磁盘；在服务器端的响应时间则为W=WS1+WS2+WS3 AIX/Power 4AIX/Power 4 NT/Pentium 2 NT/Pentium 2 Linux/Pentium 1 Linux/Pentium 1 理论模型结论理论模型结论 【【1】】Dave Sill, “Benchmark Faq Version 0.6” Mar1995, Reiley, “SPEC Describes SPEC95 Products And Benchmarks”, Sep 1995, http://www.spec.org/【【3】】SPEC, “SpecWeb99”, Jun 1999, http://www.spec.org/osg/web99/ 【【4】】TPC,“TPC BenchmarkTM C”，，Oct 25 1999, http://www.tpc.org/【【5】】H. Jin & M. Frumkin & J. Yan “The OpenMP Implementation of NAS Parallel Benchmarks and Its Performance”Oct 1999 http://www.nas.nasa.gov/【【6】】Hewlett-Packard Co, “NetPerf: A Network Performance Benchmark”, Feb 1996, 谢谢 谢！谢！ 。