《2024年黑马程序员高并发解决方案》由会员分享，可在线阅读，更多相关《2024年黑马程序员高并发解决方案（11页珍藏版）》请在金锄头文库上搜索。
1、黑马程序员：高并发处理方案一、什么是高并发 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的原因之一，它一般是指，通过设计确保系统能够同时并行处理诸多祈求。高并发有关常用的某些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对祈求做出响应的时间。例如系统处理一个HTTP祈求需要200ms，这个200ms就是系统的响应时间。吞吐量：单位时间内处理的祈求数量。QPS：每秒响应祈求数。在互联网领域，这个指标和吞吐量辨别的没有这么明显。并发用户数：同时承载正常
2、使用系统功效的用户数量。例如一个即时通讯系统，同时在线量一定程度上代表了系统的并发用户数。二、什么是秒杀 秒杀场景一般会在电商网站举行某些活动或者节假日在12306网站上抢票时遇到。对于电商网站中某些稀缺或者特价商品，电商网站一般会在约定期间点对其进行限量销售，因为这些商品的特殊性，会吸引大量用户前来抢购，并且会在约定的时间点同时在秒杀页面进行抢购。 此种场景就是非常有特点的高并发场景，假如不对流量进行合理管控，肆意放任大流量冲击系统，那么将导致一系列的问题出现，例如某些可用的连接资源被耗尽、分布式缓存的容量被撑爆、数据库吞吐量减少，最后必然会导致系统产生雪崩效应。 一般来说，大型互联网站一般
3、采取的做法是通过扩容、动静分离、缓存、服务降级及限流五种常规伎俩来保护系统的稳定运行。 三、扩容 因为单台服务器的处理能力有限，因此当一台服务器的处理能力接近或已超出其容量上限时，采取集群技术对服务器进行扩容，能够很好地提升系统整体的并行处理能力，在集群环境中，节点的数量越多，系统的并行能力和容错性就越强。 在无状态服务下，扩容也许是迄今为止效果最明显的增加并发量的技巧之一。 从扩容方式角度讲，分为垂直扩容（scale up）和水平扩容（scale out）。垂直扩容就是增加单机处理能力，怼硬件，但硬件能力毕竟还是有限；水平扩容说白了就是增加机器数量，怼机器，但伴随机器数量的增加，单应用并发能
4、力并不一定与其展现线性关系， 此时就也许需要进行应用服务化拆分了。 从数据角度讲，扩容能够分为无状态扩容和有状态扩容。无状态扩容一般就是指我们的应用服务器扩容；有状态扩容一般是指数据存储扩容，要么将一份数据拆提成不一样的多份，即sharding，要么就整体复制n份，即副本。sharding遇到的问题就是分片的可靠性，一般做转移、rehash、分片副本；副本遇到的问题是一致性性，一般做一致性算法，如paxos，raft等。四、动静分离动静分离，静态资源祈求与动态祈求分离，项目中需要访问的图片、声音、js/css等静态资源需要有独立的存储位置，便于将来实现静态祈求分离时直接剥离出来，例如nginx
5、能够直接配备图片文献直接访问目录，而不需要通过tomcat。这么tomcat就能够专注处理动态祈求，操作数据库数据处理之类的。静态祈求代理服务器性能比tomcat高诸多。动静分离是指，静态页面与动态页面分开不一样系统访问的架构设计措施。一般来说：静态页面访问途径短，访问速度快，几毫秒动态页面访问途径长，访问速度相对较慢(数据库的访问，网络传输，业务逻辑计算)，几十毫秒甚至几百毫秒，对架构扩展性的要求更高静态页面与动态页面以不一样域名辨别系统需要将动态数据 和静态数据分而治之，用户对静态数据的访问，应当防止祈求直接落到企业的数据中心，而是应当在CDN中获取，以加速系统的响应速度。五、缓存缓存之因
6、此能够提升处理速度，是因为不一样设备的访问速度存在差异。缓存的话题能够扯几本书不带重样的。从CPU能够一直扯到客户端缓存，即从最底层一直到扯到最特近用户的一层，每一层都也许或能够有缓存的存在。我们这里不扯这么多，只说简单服务端缓存。目前从几个不一样角度来看一下缓存：从效果角度。命中率越高越好吗？10万个店铺数据，缓存了1000个，命中率稳定100%，那是不是说，有99000个店铺都是长尾店铺？缓存效果评定不能单看命中率。从回收方略。假如把缓存当做数据库同样的存储设备去用，那就没有回收的说法了（除非重启或者宕机，否则数据仍然有效）；假如只存储热数据，那就有回收和替代的问题。回收有两种方式，一个是
7、空间配额，另一个是时间配额。替代也有几个方式，LRU，FIFO，LFU。从缓存使用模式角度：用户直接操作缓存和db；用户直接操作缓存，缓存协助我们读写DbB；从缓存分级角度。java堆内缓存、java堆外缓存、磁盘缓存、分布式缓存，多级缓存。从缓存使用角度。null穿透问题、惊群问题、缓存热点问题、缓存一致性问题、读写扩散问题。更新方式。读更新、写更新、异步更新。假如缓存集群包括到异地多集群布署，再结合大数据量高并发业务场景，还会遇到诸多愈加复杂的问题，这里就不一一列举了。六、服务降级 业务高峰期，为了确保核心服务，需要停掉某些不太重要的业务，eg 商品评论、论坛或者粉丝积分等另外某些场景就是
8、某些服务不可用时，又不能直接让整个流程失败就本地Mcok(模拟)实现，做流程放通eg 用户登录余额鉴权服务不能正常工作，需要做业务放通，统计消费话单允许用户继续访问，而不是返回失败为了确保以上两种场景的正常服务，服务需要有降级。服务降级重要包括容错降级和屏蔽降级屏蔽降级： 1）throw null 不发起远程调用，直接返回空 2）throw exception 不发起远程调用，直接抛出指定异常 3）execute bean 不发起远程调用，直接执行本地模拟接口实现服务降级是可逆操作，当系统压力恢复到一定值不需要降级服务时，要重新发起远程调用，服务状态改为正常容错降级:非核心服务不可调用时，能够
9、对故障服务做业务放通，确保主流程不受影响 1）RPC异常：一般指超时、消息解码异常、流控异常、系统拥塞保护异常等 2）Service异常 eg登录校验异常、数据库操作失败异常等七、限流 通过对并发访问和祈求进行限速或者一个时间窗口内的祈求进行限速来保护系统的可用性，一旦达成限制速率就能够拒绝服务（友好定向到错误页或通知资源没有了），排队或者等候（例如秒杀，评论，下单），降级（返回默认数据）。 通过压测的伎俩找到每个系统的处理峰值，然后通过设定峰值阈值，来预防当系统过载时，通过拒绝处理过载的祈求来保障系统 可用性，同时也应当依照系统的吞吐量，响应时间，可用率来动态调整限流阈值。分类：l 限制总并
10、发数-数据库连接池，线程池 l 限制瞬时并发数-nginx的limit_conn模块，用来限制瞬时并发连接数l 限制时间窗口内的平均速率-guava的RateLimiter，nginx的limit_req模块，限制每秒平均速率 l 其他-限制远程接口调用速率，限制MQ消费速率，另外，还能够依照网络连接数，网络流量，CPU或内存负载等来限流。算法：l 滑动窗口协议-改进吞吐量的技术l 漏桶-强制限制数据的传输速率，限制的流出速率l 令牌桶-（控制（流入）速率类型的限流算法）系统以恒定的速度往桶中放入令牌，假如祈求需要被处理，则需要先从桶中获取一个令牌，当桶中没有令牌可取，则拒绝服务。当平时处理速率小于桶中令牌的速率，那么在突发流量时桶内有堆积能够有效预防。1.1.1 令牌桶1.1.2 漏桶八、总结 任何一个分布式系统的容量都会存在上限，哪怕天猫这种级别的网站也不例外。一旦用户流量过载，系统的吞吐量便会开始下降，RT线上升，最后导致系统容量被撑爆而出现雪崩效应。因此，架构师在对系统架构进行设计时，一定要考虑到系统整个链路的各个步骤。上述简介的五种伎俩，看似平淡无奇，不过组合在一起却能暴发出惊人的力量。依照自己所处的场景，尝试各个方式进行处理，找到最适合的。
