《性能调优stepbystep》由会员分享，可在线阅读，更多相关《性能调优stepbystep（17页珍藏版）》请在金锄头文库上搜索。
1、(一) -方案和原则一.方案演化 历经一周多的性能测试和性能调优工作接近尾声了，这里总结下一周多的进展和调优情况。首先声明一点，我没有性能调优方面的经验，很多方法都是请教了大牛和网上查找得到的答案，感觉自己进步了很多。 1.1封装框架 刚开始对于压力测试采用的自己先的压力测试框架，就是启N多线程。然后调用远程服务器进行压力测试，调用完成后有响应时间等统计信息（见pc2性能测试方案篇） 优点：压力测试简单，不需要写太多代码。 缺点：和客户端性能有很大关系，在不同客户端上起线程的速度肯定不一样，这样就导致了测试出来数据价值不是很大。 1.2 windows下Jmeter 进行测试 优点：统计信息全
2、面，较为切近的模拟并发情况。 缺点：由于windows下客户端性能差别较大，启动线程并没有linux下快，会导致发送的请求数有限，tps上不去的。 1.3 linux下Jmeter 进行测试 优点：较好的模拟并发情况，并发效率较高。 缺点: 使用较为复杂，如果使用nmon更需要一定的配置基础。 二.调优原则 1. 贵在坚持，不可以一簇而就，别人的经验通常是针对特定系统，特定环境的，不可以照搬，不可以不知所以然。 2. 细节决定成败，调优的准备工作要做好，消除外部因素对测试造成的影响。 3. 可以按照先整体-后部分-再整体的思路进行测试，先整体是看看整体哪块有问题，找出比较慢的部分进行重点测试和
3、调优，然后再整体测试保证所有应用并发是没有问题。(二) -方法和步骤1. webTrace 跟踪数据库SQL 瓶颈：是否走到索引，是否sql执行计划最优等。 2. jProfile 跟踪那块代码消耗cpu较多，（jprofile使用方法见工具篇）。 3. kill -3 进行线程查看，如果有大量BLOCKED线程，则说明有问题，如果RUUNNBLE的线程很多都是在执行一样的操作那就说明这部分比较消耗资源，要做优化。 4. apache 调优，对apache的各个参数进行调优，最终使apache参数对应于当前系统和当前并发量最优。所以调优的并发量参考数据要经过计算，不可以认为响应时间越快，tps
4、越高越好。（经验告诉我们apache由于是多进程多线程的，我们采用的是apache 和jboss一直链接的情况，也不会消耗太多性能，所以还是apache好些。其在并发处理方面的能力要显著高于JBOSS） 5. jvm 调优：对于jboss配置的jvm 垃圾回收机制进行调优，让其垃圾回收更加及时高效。 6. 内存使用调优， 使用jconsole 进行监控，如果内存直线上升，最终得不到稳定，则说明有可能存在内存泄露等问题。 7. linux 内核调优。这部分难度较高，一般不需要，如果以上步骤不能满足性能要求，考虑此步骤。(三) -遇到的问题(数据库)1. Webtrace 分析sql 性能，发现
5、userPermissionService.listVAccountIdsByUserIdAndProductCode 是数据库未分析数据，执行方案是基于开销的方式，导致执行计划未走到索引。后来是走的索引，但是仍然较慢。 分析： kill -3后查看jboss 日志发现很多都在执行listVAccountIdsByUserIdAndProductCode 这个代码 由于apache 线程池都进行了调整，有足够多的等待线程，不太会导致BLOCKED，这样runnble 的较多都集中在这个代码上，就说明线程在这里比较占用时间。（用vi 不要用 tail） 这个sql有问题： select pup.
6、vaccount_id from pc2_user_permission pup where pup.product_code = #productCode# and pup.user_id = #userId# and pup.acl = 1 没有走正确的索引，目前只有product_code +user_id的索引，需要建立 product_code +user_id + acl的索引 解决方法：DBA 进行oracle 的数据分析，然后再跑，或者delete掉数据，这和应用进行delete一样，数据库会自动进行数据分析和重建索引等。 对于走了索引仍然较慢的情况，加上含有acl的索引，这样
7、就不用查询数据库了，速度会快比较多。 2. 测试apache 和jboss 性能对比情况时，发现和QA使用jmeter测试的结果不一致，本机测试apache 较好，QA测试 jboss反而更优。 本机测试，多数情况是apache 较好，QA使用jmeter做大并发时，数据库连接数是个瓶颈，经常over-load。 解决办法：需要让DBA 再把数据最大连接数调大些， process给调成250。 3. 不断执行压力测试，表空间占满。 分析：不停的delete 和insert时会有碎片产生，这样oracle自己的回收机制来不及做，就会导致原来占一个G的数据，现在就要占5G并且会增加insert的成
8、本，导致插入数据时非常慢。 处理方法：正常情况下是会自动回收的。只要在高并发情况下才会出现这种情况,原来表空间6G，目前增加到10G， DBA进行碎片整理。 4. DBA调整了事务管理块及insert预分配空间，调整后性能有所提高，大概提高10%左右 因为PC2中有大量的insert操作，DBA认为insert操作时，若有较多的磁盘碎片，会对insert性能产生影响 ，所以为此预分配了一定空间，所有的插入操作都是往预分配空间插入，这样省去了寻址的时间。 5. 报数据库已经关闭异常，jboss log 报出 ERROR com.mchange.v2.resourcepool.BasicResou
9、rcePool : com.mchange.v2.resourcepool.BasicResourcePool5b553d28 - Unexpectedly broken! com.mchange.v2.resourcepool.ResourcePoolException: Unexpected Break Stack Trace! 解决方法：修改pc2-spring-common.xml 中C3P0配置，将其如下值修改 此问题较为普遍，在UDB和原来PCC都有发生，发生场景为不少连接被占用（本次是被预发环境占用）资源发生竞争时，如果设置为true,已经被占用的连接，就会直接报出异常，如果为f
10、alse ，他会去尝试再获取下，短链接的情况下会很快释放的，这样就不会报出异常了。 6. 多次fetch的数据问题 webtrace是一个很不错的SQL跟踪工具 通过查看trace得到的SQL执行情况，问题一可以很容易查到原因，问题三的原因也由此可以看出来。 虽然走到索引，但fetch次数太多（ibatis是以object来传输的，查到了这么多数据，取了这么多次，肯定是耗费很大性能的）。数据存在问题。 (四) -遇到的问题(Apache)一.两个失误 1. Timeout 20 改错 改成0了，导致报500 异常 解决办法：这样客户端链接一直不超时，很快就会占满所有的资源。其它连接就连接不上。
11、这个超时时间是必须有的 2. 配置的应该是AJP1.3的协议，原来配置项有些配置到8080端口了 配置的是http1.1协议。对应于AJP的8009参数没有配置上。导致不能满足高并发的要求. 二.其他调优点 3. tps 上不去 分析： （1）测试代码问题,把newSampleTest（） 放在了setUp里面，统计结果不准 ，导致TPS一直比较异常，要么是用户数整除的，要么是直线上升的。 （2）TPS开始会比较高，但随时间大幅下降，响应时间也是越来越长,并通过监控显示, 大量线程bolck在 取用户产品权限这里 QA的测试脚本中存在一个问题：往数据库插入的数据，每次请求都是同一个userid
12、,只会循环改变vaccountid，这样导致按userid取列表的SQL性能每次请求一次比一次差。 （3）接口测试时都是短连接，不需要长链接。 httpd.conf KeepAlive 为Off JkWorkerProperty worker.localnode.connection_pool_timeout=0 为链接池的等待时间，让其不超时，因为我们采用的是一个apache 对应一个jboss 一直保持通讯就可以了，JBOSS 同步修改。 结果：比原来理想，tps 有提高。 4. 502 异常频繁出现 4.1 解决办法：将原来的 mod-jk localnode方式修改为loadbalan
13、cer，使用apache 缓冲池，并设置了apache 线程池大小为500。 4.2 又爆出 502、503 异常：Apache configured - resuming normal operations 将socket超时时间增加些，让请求的线程等待时间加长一点。不至于很快拒绝掉，导致503异常。 JkWorkerProperty worker.localnode.socket_timeout=20 增加 JkWorkerProperty worker.localnode.connection_pool_minsize=25 （增加，原来注释掉了） 4.3 502 Response ha
14、s been sent to the client (yet) 解决方法：线程池被被占用，先修改log看下，再有问题修改下 mod-jk soket超时时间。调的长一点。 5. 将maxProcess 和maxThread 同时出现，以哪个为基准，cpu与性能有什么关系 分析： maxProcessor 和maxThread 同时出现时，maxProcess 优先级较高。maxProcess 表示最大并发数，maxThread 是jboss 启动的最大线程数。 这里最大链接数调整为3200 ，这个已经足够满足需求了，用于保证jboss 的稳定性，算法就是每个cpu 可以撑住200个线程，16c
15、ore*200/core = 3200 ，生产环境为8core cpu需要调整下。 apache 起了10 个进程 StartServers = 10 这里有两个相关参数要调整 MinSpareThreads（http_conf）*10 = MinSpareThreads (server.xml) ？ JkWorkerProperty worker.localnode.connection_pool_size=320 *10 (启动了10个进程)= maxClient ServerLimit 100 ThreadLimit 400（大于 ThreadsPerChild 320） StartServers 10 MaxClients 3200 MinSpareThreads 100 MaxS
