《傅翠云异地多活数据流基础设施DRC》由会员分享，可在线阅读，更多相关《傅翠云异地多活数据流基础设施DRC（34页珍藏版）》请在金锄头文库上搜索。
1、异地多活数据流基础设施异地多活数据流基础设施 DRCDRC 傅翠云 - 双11支持571亿交易额背后的武器 自我介绍 花名 延瑛 阿里技术保障数据库专家 专注于DRC（data replica2on center） 目前负责产品规划和架构设计 在数据库，高可用，分布式经验比较丰富 Agenda DRC介绍 DRC在异地多活 DRC在更多数据架构 DRC在云端 如果你是阿里云用户如果你是阿里云用户？ 场景1：跨域同步RDS replica(on 杭州杭州RDS 美国美国RDS 场景2：接入异构数据 迭代迭代、迭代迭代、迭代迭代 场景3：订阅增量数据 APP 一致性 一致性 可扩展性 可扩展性 稳
2、定性 稳定性 实时性 实时性 备份备份、通知通知 数据流基础设施数据流基础设施DRC DRC是什么 原生复制 原生复制 卡夫卡 卡夫卡 高可用 高可用 标准消息 标准消息 同步 同步 分发 分发 异构 异构 实时 实时 Data Replica(on Center 数据管道层 数据管道层 Master DB Slave DB Master DB Slave DB DRC Store（抓取（抓取） DRC Congo（同步（同步） DRC SDK（订阅（订阅） data 高可用层 高可用层 DRC架构 DRC distributed data 集群管理层 集群管理层 DRC cluster ma
3、nager 统一接入层 统一接入层 DRC region manager DRC slave store DRC Store 数据流基础设施DRC 覆盖阿里所有核心业务 服务于淘宝新一代架构淘宝新一代架构的核心组件 异地多活的武器异地多活的武器DRCDRC 淘宝新一代架构 机房1 城市1 机房2 【同城多机房】只能堆机器 【跨城多机房】冷备贵且不靠谱， 多写跨城调用延迟大，流量无法切换 【阿里异地多活阿里异地多活】 热拔插应对业务峰值 流量实时切换 数据实时恢复 机房3 城市2 机房4 城市3 城市4 读读/写 写 只读 只读 读读/写 写 读读/写 写 读读/写 写 淘宝异地双活 支付 买家
4、 买家 卖家 卖家 商品 商品 创建 订单 中心 商品 管理 库存 优惠 物流 订单 会员 单元 物流 商品 管理 库存 优惠 创建 订单 订单 会员 一致性一致性 实时性实时性 单元 100% 中心 100% 同步架构1 读写分离 保证实时性保证实时性 保证一致性 保证一致性 Store Congo 中心读写 单元只读 单元100% 中心100% 同步架构2 单元封闭 避免循环复制避免循环复制 避免峰值压力 避免峰值压力 Store Congo Store Congo 中心流量1-N% 单元流量N% DRC核心能力 低延迟 低延迟 高可用 高可用 一致性 一致性 一致性 数据有序 数据不丢
5、数据不错 事务一致 Binlog commit Store Congo 跨城秒级延迟挑战 0.2ms 15ms 5100ms 150ms 低延迟 跨城延迟大 事务相关、DDL影响并发 读历史会影响写实时 热点数据阻塞非热点数据 Binlog commit Store Congo 高可用 源和目的主备切换 任务高可用 数据高可用 下游隔离 核心隔离 监控 Store Congo Zookeeper Cluster Manager DRC monitor Store Distributed data Slave Store DRC reloader Congo 2014年双十一处理规模 2000+
6、个实例实时增量 抓取了约100TB的数据量 峰值每秒每秒处理了30+GB的数据量 数据同步：除了交易限流限流，核心库均无超过秒级延时无超过秒级延时 增量订阅：17000+个实时下游 2014年双十一实时性 DRC DRC 经历经历2次次 双双11 成功支撑成功支撑 571亿交易 亿交易 最大延迟最大延迟 不超过不超过1秒 秒 同步距离同步距离 最长最长10000 公里 公里 申请申请10项项 专利 专利 DRCDRC支持更多数据架构 支持更多数据架构 Region2 Region1 Zone1 高可用分布式数据库 Zone2 Paxos/DRC Zone3 DRC Congo Store St
7、ore Congo Congo Congo Region2 Region1 数据分发中心 Store Store Store Store Store Store 离线分析 离线分析 搜索 搜索 实时计算 实时计算 增量中心 增量中心 消息队列 消息队列 Slave store Slave store Slave store DRCDRC在云端 在云端 迁移上云 覆盖2014年50%RDS新增实例 全量+增量，无缝迁移 升级版 - DTS MySQL mysqldump mysqlimport 25-page document Oracle 导入/导出 SQL Loader 7-page doc
8、ument SQL Server Import/Export向导 Bulk Copy Program 10-page document PostgreSQL pg_dump 3-page document 某全球知名云计算服务商 阿里云 Data Transforma(on Service 一键入云 无缝迁移 兼容异构兼容异构 一致校验 跨域同步 RDS replica2on不支持不支持跨域 DRC支持跨域RDS同步或者容灾，对RDS无入侵无入侵 限量公测 杭美RDS实例之间实现7*24小时实时同步 杭州杭州RDS 美国美国RDS 10% DRC RDS DRDS 增量订阅 支持RDS和DRDS 通过SDK订阅 单机版 集群版 内部客户： Open search CDP DRDS同步，小表广播 网聚宝等数据搜索 限量公测 DRC store DRC SDK OCS RDS ONS MQS ECS DRDS KVStore OSS ODPS ADS CDP Open search APP OTS DRC 打通数据和地域 打通数据和地域 云上数据流基础服务 云上数据流基础服务 易于使用 易于使用 DRC SDK 理想 联系方式联系方式 旺旺旺旺：延瑛延瑛 Email: cuiyun.fcyalibaba-
