《阿里巴巴Cobar架构设计与实践》由会员分享，可在线阅读，更多相关《阿里巴巴Cobar架构设计与实践（163页珍藏版）》请在金锄头文库上搜索。
1、阿里巴巴分布式数据库原理、实现和应用2012.11集团共享技术平台 分布式数据库 邱硕2012华东架构师大会分布式数据库中间件AppAppAppAppCobarOracleMySQL MySQL MySQLErosa OracleErosa MySQLErosa MySQLErosa MySQLEromangaOtterOracleMySQL MySQLOtterErosa OracleErosa MySQLErosa MySQLEromanga 性能 容量 高可用 数据消费时效性 跨机房数据同步ASCDW.分布式数据库中间件AppAppAppAppCobarOracleMySQL MySQL
2、 MySQLErosa OracleErosa MySQLErosa MySQLErosa MySQLEromangaOracleMySQL MySQLOtter 性能 容量 高可用 数据消费时效性 跨机房数据同步Erosa OracleErosa MySQLErosa MySQLEromangaOtterASCDW.分布式数据库中间件AppAppAppAppCobarOracleMySQL MySQL MySQLOracleMySQL MySQLOtterErosa OracleErosa MySQLErosa MySQLEromanga 性能 容量 高可用 数据消费时效性 跨机房数据同步E
3、rosa OracleErosa MySQLErosa MySQLErosa MySQLEromangaOtterASCDW.分布式数据库中间件AppAppAppAppCobarOracleMySQL MySQL MySQLErosa OracleErosa MySQLErosa MySQLErosa MySQLEromangaOracleMySQL MySQLErosa OracleErosa MySQLErosa MySQLEromanga 性能 容量 高可用 数据消费时效性 跨机房数据同步OtterASCDW.Otter分布式数据库中间件AppAppAppAppCobarOracleMy
4、SQL MySQL MySQLErosa OracleErosa MySQLErosa MySQLErosa MySQLEromangaOracleMySQL MySQLOtter 性能 容量 高可用 数据消费时效性 跨机房数据同步Erosa OracleErosa MySQLErosa MySQLEromangaOtterASCDW.大纲n 中间件引入n Cobar策略n 系统实现n 实施应用Cobar之前 Oracle单点数据库 性能问题 中文站offer总数：2008年1亿 - 2011年3亿 高峰时：load 30、cpu使用率90% 数据库连接过多 可用性问题 Standby切换故障
5、 成本和伸缩性问题 依赖高成本的硬件设备OracleMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQL单点：MySQL集群替换OracleMySQLMySQLMySQL Oracle单点数据库 性能问题 中文站offer总数：08年1亿 - 今天3亿 高峰时：load 30、cpu使用率90% 数据库连接过多 可用性问题 Standby切换故障 成本和伸缩性问题 依赖高成本的硬件设备Cobar引入 水平拆分IDMEMBE_IDINFO1pavarotti1711pavarotti17MySQLIDMEMBE_IDINFO4test12345test123
6、4IDMEMBE_IDINFO3abcd9abcd20abcdMySQLMySQLCobarApp Oracle单点数据库 性能问题 中文站offer总数：08年1亿 - 今天3亿 高峰时：load 30、cpu使用率90% 数据库连接过多 可用性问题 Standby切换故障 成本和伸缩性问题 依赖高成本的硬件设备AppIDMEMBE_IDINFO1pavarotti1711pavarotti17MySQLIDMEMBE_IDINFO4test12345test1234IDMEMBE_IDINFO3abcd9abcd20abcdMySQLMySQLAppAppAppAppAppAppAppCo
7、bar引入 连接复用AppIDMEMBE_IDINFO1pavarotti1711pavarotti17MySQLIDMEMBE_IDINFO4test12345test1234IDMEMBE_IDINFO3abcd9abcd20abcdMySQLMySQLCobar ProxyAppAppAppAppAppAppApp Oracle单点数据库 性能问题 中文站offer总数：08年1亿 - 今天3亿 高峰时：load 30、cpu使用率90% 数据库连接过多 可用性问题 Standby切换故障 成本和伸缩性问题 依赖高成本的硬件设备Cobar引入IDMEMBE_IDINFO1pavarott
8、i1711pavarotti17MySQLCobarAppXCobar引入 failoverIDMEMBE_IDINFO1pavarotti1711pavarotti17MySQL Master1CobarAppIDMEMBE_IDINFO1pavarotti1711pavarotti17MySQL Master2XMySQL ReplicationCobar引入 failoverIDMEMBE_IDINFO1pavarotti1711pavarotti17CobarAppIDMEMBE_IDINFO1pavarotti1711pavarotti17MySQL ReplicationMySQL
9、 Master1MySQL Master2大纲n 中间件引入n Cobar策略n 系统实现n 实施应用OracleMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQL拆分数据表水平拆分ID MEMBE_IDINFO1pavarotti173abcd4test12345test12349abcd11pavarotti1720abcd水平拆分IDMEMBE_IDINFO1pavarotti173abcd4test12345test12349abcd11pavarotti1720abcd拆分字段水平拆分ID MEMBE_ID INF
10、O1pavarotti173abcd4test12345test12349abcd11pavarotti1720abcdIDMEMBE_IDINFO1pavarotti174test12345test123411pavarotti17ID MEMBE_ID INFO3abcd9abcd20abcdf(pavarotti17)=库1f(test1234)=库1f(test1234)=库1f(pavarotti17)=库1f(abcd)=库2f(abcd)=库2f(abcd)=库2库1库2拆分字段水平拆分ID MEMBE_ID INFO1pavarotti173abcd4test12345test
11、12349abcd11pavarotti1720abcdIDMEMBE_IDINFO1pavarotti174test12345test123411pavarotti17ID MEMBE_ID INFO3abcd9abcd20abcdf(abcd)=库2库1库2拆分字段f(pavarotti17)=库1f(test1234)=库1f(test1234)=库1f(pavarotti17)=库1f(abcd)=库2f(abcd)=库2路由算法路由算法pavarotti17f(pavarotti17)=库1路由算法pavarotti17部分截取hash( ) = 3170972965401路由算法h
12、ash(pavarott) = 3170972965401 % 1024 = 5370 1023路由算法hash(pavarott) = 3170972965401 % 1024 = 5370 255 256 511 512 767 768 1023256256256256分库1分库2分库3分库4路由算法hash(pavarott) = 3170972965401 % 1024 = 5370 255 256 511 512 767 768 1023256256256256分库1分库2分库3分库4路由算法扩容hash(pavarott) = 3170972965401 % 1024 = 5370
13、 127 128 255 256 383 384 511 512 639 640 767 768 895 896 1023128128128128128128128128分库1分库2分库3分库4路由算法扩容hash(pavarott) = 3170972965401 % 1024 = 5370 127 128 255 256 383 384 511 512 639 640 767 768 895 896 1023128128128128128128128128分库1分库2分库3分库4分库5分库6分库7分库8原分库1分库2分库3分库4原原原路由算法非均匀分布hash(pavarott) = 31
14、70972965401 % 1024 = 5370 511 512 767 768 895 896 1023512256128128分库1分库2分库3分库4拆分表的数据访问SQL转发IDMEMBE_IDINFO1pavarotti174test12345test123411pavarotti17IDMEMBE_IDINFO3abcd9abcd20abcdCobarAppselect * from tb1 wheremember_id=test1234拆分表的数据访问SQL转发IDMEMBE_IDINFO1pavarotti174test12345test123411pavarotti17IDMEMBE_IDINFO3abcd9abcd20abcdCobarAppselect * from tb1 wheremember_id=test1234IDMEMBE_IDINFO1pavarotti174test12345test123411pavarott
