《JavaWeb应用中调优线程池的重要性》由会员分享，可在线阅读，更多相关《JavaWeb应用中调优线程池的重要性（10页珍藏版）》请在金锄头文库上搜索。
1、不论你是否关注，JavaWeb应用都或多或少的使用了线程池来处理请求。线程池的实现细节可能会被忽视，但是有关于线程池的使用和调优迟早是需要了解的。本文主要介绍Java线程池的使用和如何正确的配置线程池。单线程我们先从基础开始。无论使用哪种应用服务器或者框架(如TomcatJetty等)，他们都有类似的基础实现。Web服务的基础是套接字(socket),套接字负责监听端口，等待TCP连接，并接受TCP连接。一旦TCP连接被接受，即可从新创建的TCP连接中读取和发送数据。为了能够理解上述流程，我们不直接使用任何应用服务器，而是从零开始构建一个简单的Web服务。该服务是大部分应用服务器的缩影。一个简
2、单的单线程Web服务大概是这样的：Serversocketlistener=newServerSocket(8080);trywhile(true)Socketsocket=listeneraccept();tryhandleRequest(socket);catch(IOExceptione)e.printstackTeceO;finallylistener,close();上述代码创建了一个服务端套接字(ServerSocket),监听8080端口，然后循环检查这个套接字，查看是否有新的连接。一旦有新的连接被接受，这个套接字会被传入handleRequest方法。这个方法会将数据流解析成H
3、TTP请求，进行响应，并写入响应数据。在这个简单的示例中，handleRequest方法仅仅实现数据流的读入，返回一个简单的响应数据。在通常实现中，该方法还会复杂的多，比如从数据库读取数据等。finalstaticStringresponse-“HTTP/1.0200OK/r/n”+“Content-type：text/plain/r/nM+“/r/n”+“HelloWorld/r/nv;publicstaticvoidhandleRequest(socketsocket)throwsIOException/Readtheinputstream,andreturn200OK”tryBuffer
4、edReaderin=newBufferedReader(newInputStreamReader(socket.getInputstream();log.info(in.readLineO);OutputStreamout二socket.getOutputStreamO;out.write(response,getBytes(StandardCharsets.UTF_8);finallysocket.closeO;山于只有一个线程来处理请求，每个请求都必须等待前一个请求处理完成之后才能够被响应。假设一个请求响应时间为100毫秒，那么这个服务器的每秒响应数(tps)只有10o多线程虽然hand
5、leRequest方法可能阻塞在10上，但是CPU仍然可以处理更多的请求。但是在单线程情况下，这是无法做到的。因此，可以通过创建多线程的方式，来提升服务器的并行处理能力。publicstaticclassHandleRequestRunnableimplementsRunnablefinalSocketsocket;publicHandleRequestRunnable(Socketsocket)this.socket=socket;publicvoidrun()tryhandleRequest(socket);catch(IOExceptione)e.printStackTrace();Se
6、rversocketlistener=www.baiyuewangnetnewServerSocket(8080);trywhile(true)Socketsocket=listeneraccept。；newThread(newHandleRequestRunnable(socket)start();finallylistener,close();这里，accept()方法仍然在主线程中调用，但是一旦TCP连接建立之后，将会创建一个新的线程来处理新的请求，既在新的线程中执行前文中的handleRequest方法。通过创建新的线程，主线程可以继续接受新的TCP连接，且这些信求可以并行的处理。这个
7、方式称为每个请求一个线程(threadperrequest)。出然，还有其他方式来提高处理性能，例如NGINX和Node,js使用的异步事件驱动模型，但是它们不使用线程池，因此不在本文的讨论范围。在每个请求一个线程实现中，创建一个线程(和后续的销毁)开销是非常昂贵的，因为JVM和操作系统都需要分配资源。另外，上面的实现还有一个问题，即创建的线程数是不可控的，这将可能导致系统资源被迅速耗尽。资源耗尽每个线程都需要一定的栈内存空间。在最近的64位JVM中，默认的栈大小是1024KBo如果服务器收到大量请求，或者handleRequest方法执行很慢，服务器可能因为创建了大量线程而崩溃。例如有100
8、0个并行的请求，创建出来的1000个线程需要使用1GB的JVM内存作为线程栈空间。列外，每个线程代码执行过程中创建的对象，还可能会在堆上创建对象。这样的情况恶化下去，将会超出JVM堆内存，并产生大量的垃圾回收操作，最终引发内存溢出(OutOfMemoryErrors)。在这个示例中，没有直接创建线程，而是使用了ExecutorService。它将需要执行的任务(需要实现Runnables接口)提交到线程池，使用线程池中的线程执行代码。示例中，使用线程数量为4的固定大小线程池来处理所有请求。这限制了处理请求的线程数量，也限制了资源的使用。除了通过newFixedThreadPool方法创建固定大
9、小线程池，Executors类还提供了newCachedThreadPool方法。复用线程池还是有可能导致不可控的线程数，但是它会尽可能使用之前已经创建的空闲线程。通常该类型线程池适合使用在不会被外部资源阻塞的短任务上。工作队列使用了固定大小线程池之后，如果所有的线程都繁忙，再新来一个请求将会发生什么呢？ThreadPoolExecutor使用一个队列来保存等待处理的请求，固定大小线程池默认使用无限制的链表。注意，这乂可能引起资源耗尽问题，但只要线程处理的速度大于队列增长的速度就不会发生。然后前面示例中，每个排队的请求都会持有套接字，在一些操作系统中，这将会消耗文件句柄。由于操作系统会限制进程
10、打开的文件句柄数，因此最好限制下工作队列的大小。publicstaticExecutorServicenewBoundedFixedThreadP(intnThreads,intcapacity)returnnewThreadPoolExecutor(nThreads,nThreads,OL,TimeUnit.MILLISECONDS,newLinkedBlockingQueue(capacity),newThreadPoolExecutorDiscardPolicy();publicstaticvoidboundedThreadPoolServersocket()throwsIOExcept
11、ionServersocketlistener=newServerSocket(8080);ExecutorServiceexecutor=newBoundedFixedThreadPool(4,16);trywhile(true)Socketsocket=listeneraccept();executor.submit(newHandleRequestRunnable(socket);finallylistenerclose();这里我们没有直接使用Executors.newFixedThreadPool方法来创建线程池,而是自己构建了ThreadPoolExecutor对象，并将工作队列长
12、度限制为16个元素。如果所有的线程都繁忙，新的任务将会填充到队列中，山于队列限制了大小为16个元素，如果超过这个限制，就需要山构造ThreadPoolExecutor对象时的最后一个参数来处理了。示例中，使用了抛弃策略(DiscardPolicy),即打队列到达上限时，将抛弃新来的任务。初次之外，还有中止策略(AbortPolicy)和调用者执行策略(CallerRunsPolicy)。前者将抛出一个异常，而后者会再调用者线程中执行任务。对于Web应用来说，最优的默认策略应该是抛弃或者中止策略，并返回一个错误给客户端(如HTTP503错误)。当然也可以通过增加工作队列长度的方式，避免抛弃客户端
13、请求，但是用户请求一般不愿意进行长时间的等待，且这样会更多的消耗服务器资源。工作队列的用途，不是无限制的响应客户端请求，而是平滑突发暴增的请求。通常情况下，工作队列应该是空的。线程数调优前面的示例展示了如何创建和使用线程池，但是，使用线程池的核心问题在于应该使用多少线程。首先，我们要确保达到线程上限时，不会引起资源耗尽。这里的资源包括内存(堆和栈)、打开文件句柄数量、TCP连接数、远程数据库连接数和其他有限的资源。特别的，如果线程任务是计算密集型的，CPU核心数量也是资源限制之一，一般情况下线程数量不要超过CPU核心数量。山于线程数的选定依赖于应用程序的类型，可能需要经过大量性能测试之后，才能
14、得出最优的结果。当然，也可以通过增加资源数的方式，来提升应用程序的性能。例如，修改JVM堆内存大小，或者修改操作系统的文件句柄上限等。然后，这些调整最终还是会触及理论上限。利特尔法则利特尔法则描述了在稳定系统中，三个变量之间的关系。L=XWL,LorX=orIF=WX其中L表示平均请求数量，入表示请求的频率，W表示响应请求的平均时间。举例来说，如果每秒请求数为10次，每个请求处理时间为1秒，那么在任何时刻都有10个请求正在被处理。回到我们的话题，就是需要使用10个线程来进行处理。如果单个请求的处理时间翻倍，那么处理的线程数也要翻倍，变成20个。理解了处理时间对于请求处理效率的影响之后，我们会发
15、现，通常理论上限可能不是线程池大小的最佳值。线程池上限还需要参考任务处理时间。假设JVM可以并行处理1000个任务，如果每个请求处理时间不超过30秒，那么在最坏情况下，每秒最多只能处理33.3个请求。然而，如果每个请求只需要500毫秒，那么应用程序每秒可以处理2000个请求。拆分线程池在微服务或者面向服务架构（SOA）中，通常需要访问多个后端服务。如果其中一个服务性能下降，可能会引起线程池线程耗尽，从而影响对其他服务的请求。应对后端服务失效的有效办法是隔离每个服务所使用的线程池。在这种模式下，仍然有一个分派的线程池，将任务分派到不同的后端请求线程池中。该线程池可能因为一个缓慢的后端而没有负载，而将负担转移到了请求缓慢后端的线程池中。另外，多线程池模式还需要避免死锁问题。如果每个线程都阻塞在等待未被处理请求的结果上时，就会发生死锁。因此，多线程池模式下，需要了解每个线程池执行的任务和它们之间的依赖，这样可以尽可能避免死锁问题。总结即使没有在应用程序中直接使用线程池，它们也很有可能在应用程序中被应用服务器或者框架间接使用。Tomcat、JBoss、UndertowDropwizard等框架，都提供了调优线程池
