支付宝三年光棍节高可用系统架构的演变

《支付宝三年光棍节高可用系统架构的演变》由会员分享，可在线阅读，更多相关《支付宝三年光棍节高可用系统架构的演变（39页珍藏版）》请在金锄头文库上搜索。

1、支付宝三年光棍节高可用系统 架构的演变 阿玺 支付宝-技术部 weibo: 支付宝_阿玺 个人介绍 胡喜，花名阿玺，2007年加入支付宝，主持支付 平台基础技术的架构设计与研发工作，幵且参与 支付宝核心支付平台的架构设计和系统升级。 支付宝系统发展历程 2005年 挑战 2011年+ 2006年 2007年 2008年 2009年 2010年 架构 服务范围: 担保交易淘宝 交易笔数: 1万/天 代码量: 十万级 技术团队: 约 10人 一代架构: 烟囱型 服务范围: 交易互联网 交易笔数: 50万/天 代码量: 百万级 技术团队: 约 100 人 二代架构: 面向服务型 服务范围: 多资金渠

2、道、多支付工 具、多应用场景 交易笔数: 约1000万/天 11.11日：1280W 代码量: 千万级 技术人员: 1000人+ 服务范围: 支付宝 everywhere 业务量: 亿级+ 11.11:3369W 代码量: 千万级+ 技术人员: 异地/开放 三代架构: 云平台型 2012.11.11系统必须具备交易处理能力： 1亿+ 80亿+数据库事务 500亿+的SQL执行 1000亿+服务调用 500+个应用协同完成 Agenda 可伸缩性：提升容量百万级到亿级 故障容忍：99.9%到99.99%+ 弹性控制：人工控制到秒级自劢调度 IDC 一个简化的支付宝系统模型 数据库 交易系统 账户

3、系统 V 1 LB 可伸缩 提升容量百万级到亿级 IDC 数据库的瓶颈 数据库 交易系统 账户系统 V 1 LB 数据可伸缩性：数据垂直拆分 IDC 交易系统 账户系统 V 2 LB 交易数据库 账户数据库 一致性瓶颈 IDC 交易系统 账户系统 V 2 LB 交易数据库 账户数据库 业务一致性：service层的分布事务 实现 一个完整的业务活劢由一个主业务服务与若 干从业务服务组成 主业务服务负责发起幵完成整个业务活劢 从业务服务提供TCC型业务操作 业务活劢管理器控制业务活劢的一致性，它 登记业务活劢中的操作，幵在业务活劢提交 时确认所有的TCC型操作的confirm操作， 在业务活劢取

4、消时调用所有TCC型操作的 cancel操作 与2PC协议比较 没有单独的Prepare阶段，降低协议成本 系统故障容忍度高，恢复简单 主业务服务 从 业 务 服 务 A 从 业 务 服 务 B 数据库 数据库 tryX 1. tryX成功 业务活劢 管理器 活劢日志 启劢业务活劢 登记业务操作 提交/回滚业务活劢 confirmX cancelX tryY confirmY cancelY 2. tryY成功 3. confirmX成功 4. confirmY成功 数据库 单个库的瓶颈 IDC 交易系统 账户系统 V 2 LB 交易数据库 账户数据库 数据可伸缩性：数据水平拆分与复制 IDC

5、 交易系统 账户系统 V 3 LB 交易数据库 账户数据库 交易数据库 交易数据库 账户数据库 数据可伸缩性：交易数据拆分 数据复制中心 1 2 n1 核心交易数据 (分表幵分库) 主交易系统 交易处理服务 (写场景) 交易记录查询系统 用户交易记录查询服务 (读场景1) 1 2 n2 商户查询系统 交易记录数据 (分表幵分库) 商户查询与对账 (读场景2) 1 2 n3 商户/平台商交易数据 (分表幵分库) 分布数据访问层 主 网络伸缩瓶颈 IDC 交易系统 账户系统 V 3 LB 交易数据库 账户数据库 交易数据库 交易数据库 账户数据库 网络可伸缩性：消除网络设备瓶颈 IDC 交易系统

6、账户系统 V 4 交易数据库 账户数据库 交易数据库 交易数据库 confreg 账户数据库 服务器伸缩瓶颈 IDC 交易系统 账户系统 V 4 交易数据库 账户数据库 交易数据库 交易数据库 confreg 账户数据库 服务器伸缩：服务器扩展到多个IDC IDC1 交易系统 账户系统 V 5 交易数据库 账户数据库 交易数据库 交易数据库 confreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 账户数据库 跨机房通讯的瓶颈 IDC1 交易系统 账户系统 V 5 交易数据库 账户数据库 交易数据库 交易数据库 confreg IDC2 交易系统 账户系统 交易系统

7、 交易系统 账户系统 账户系统 账户数据库 IDC伸缩：部分独立IDC IDC1 交易系统 账户系统 V 6 交易数据库 账户数据库 交易数据库 交易数据库 confreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 confreg 账户数据库 小结：提升容量百万级到亿级 数据的可伸缩性 垂直，水平拆分，复制，分布式事务 网络可伸缩性 IDC可伸缩性 应用中间件技术架构 展现 服务容器 协调 应 用 应 用 中 间 件 平 台 SOFA3 （SCA：bundle，service/reference，pub/sub，extension，sla） CloudEngine

8、（servlet 3.0，drm，management，osgi） Apache/nginx （spdy， https） JVM （JVMTI，JNI） SOFA-MVC （full stack） SOFA-Mashup （component） 分布式 session 安全框架 security A/B Test 组件 组件集合（rule，jbpm，xts，cache，schedule） web Tomcat Datasource zds drm webservice jetty 协调中心 （zdipper，zookeeper） 调度中心 （scheduler） 配置中心 （confreg2.

9、0） 分布式锁 （dlslock） 超时调度中心 （timeout） 故障容忍 99.9%到99.99%+ 数据库单点故障 IDC1 交易系统 账户系统 V 6 交易数据库 账户数据库 交易数据库 交易数据库 confreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 confreg 账户数据库 故障容忍-消除数据库单点 IDC1 交易系统 账户系统 V 7 交易数据 库 账户数据库 交易数据 库 交易 数据库 confreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 confreg 交易 failover 数据库 数据复制中心 1 2 n

10、1 核心交易数据 (分表/分库/failover) 主交易系统 交易处理服务 (写场景) 交易记录查询系统 用户交易记录查询服务 (读场景1) 1 2 n2 商户查询系统 交易记录数据 (分表幵分库) 商户查询与对账 (读场景2) 1 2 n3 商户/平台商交易数据 (分表幵分库) 分布数据访问层 主 备 故障容忍-数据库的failover 服务依赖故障 IDC1 交易系统 账户系统 V 8 交易数据 库 账户数据库 交易数据 库 交易 数据库 confreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 confreg 交易 failover 数据库 收费 故障容忍-

11、控制服务依赖 交易系统 交易引擎 流 程 引 擎 规 则 引 擎 资 金 处 理 产 品 账 接 入 商 户 通 知 数 据 持 久 收 费 接 入 统 一 事 件 扩展支付工具 业务核查 收费系统 商户通知 消费记录 沟通 商户查询 营销 核心账务 风险核查 消息 系统 超 时 处 理 担保交易 即时到账交易 货到付款交易 异步交易事件处理 产品账 扩展支付工具 扩展支付工具 可靠 可靠 可靠 可靠 可靠 可靠 可靠 非可靠 非可靠 强依赖 弱依赖 本地消息failover 弱依赖开关 IDC故障 IDC1 交易系统 账户系统 V 8 交易数据 库 账户数据库 交易数据 库 交易 数据库 c

12、onfreg IDC2 交易系统 账户系统 交易系统 交易系统 账户系统 账户系统 confreg 交易 failover 数据库 收费 故障容忍-完全独立IDC IDC1 交易系统 账户系统 V 9 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 IDC2 交易系统 账户系统 交易数据库 账户数据库 交易数据库 confreg 交易系统 账户系统 账户数据库 账户数据库 GTM 小结：99.9%到99.99%+ 消除任何数据库单点 控制服务依赖 完全独立的IDC 弹性控制 人工控制到秒级自劢调度 弹性能力-监控平台 日志模型 计算模型 监控报表 弹性能力-秒级监控系统

13、 Log Log Log Log Real Time(msec/sec) Long Term(Min/Hours) HDFS Data Data Data Data HBase/NoSQL MapReduce Real Time Compute Parser Layer Parser Layer Parser Layer Parser Layer Compute Layer Compute Layer Compute Layer Compute Layer Mile (NoSQL) Agent Agent Agent Agent 弹性能力-自劢化的调度 Alipay Elastic Rest

14、API Operations API SLA API Configration API Deployment API Hardware API (IaaS) Monitoring API Flow Plugin API Monitor data query API Analysis API (Hadoop) 应用运行数 据的收集 监控系统的 数据建模和 计算 弹性平台的 分析 产生控制命 令 指令执行 银行渠道数据采 集 银行渠道数据监 控 分析发现某银行 A渠道异常 根据模型产生调 拨指令 切换到某银行的 B渠道 治理 SOA调用 弹性控制平台 监控 分析 资损监控 viceroy 数据库基础监控 （webchart） 接口开放平台（openapi） 数据平台 mysql，oracle，mile，tair 分布式计算平台 Hadoop，Hive 基础设施监控 （samonitor 网络，主机） 业务基础监控平台 （monitor4） 监控事件及报警 monitorevent 监控模型平台 监控数据 同步 agent 流式计算 弹性监控 zscalemonitor 发布 监控 秒，分 钟聚合 监控 故障分析 监控 稳定性分析平台 容量 分析 acm 依赖分析 sofarouter 性能分析 hotspot 服务治理 sg 通用数据分析及模型 清洗平台