《DTCC2016-华泰证券构建分布式高可用数据库架构的实践》由会员分享，可在线阅读，更多相关《DTCC2016-华泰证券构建分布式高可用数据库架构的实践（32页珍藏版）》请在金锄头文库上搜索。
1、华泰证券构建分布式高可用数据 库架构的实践 2016.05 管 文 琦 管 文 琦 目 录 一、华泰证券集团简介一、华泰证券集团简介 二、面临的机遇与挑战二、面临的机遇与挑战 三、技术方案 三、技术方案 四、新开源技术解决方案研究与实践 四、新开源技术解决方案研究与实践 华泰证券集团简介华泰证券集团简介 一、华泰证券 一、华泰证券 全国领先的大型综合性证券集团，具有庞 大的客户基础、领先的互联网平台及敏捷 协同的全业务链体系，股票代码601688 全国领先的大型综合性证券集团，具有庞 大的客户基础、领先的互联网平台及敏捷 协同的全业务链体系，股票代码601688 主营业务：经纪及财富管理、投资
2、银行、 投资及交易、资产管理、海外业务 主营业务：经纪及财富管理、投资银行、 投资及交易、资产管理、海外业务 经纪业务全市场第一（8.32%） 经纪业务全市场第一（8.32%） 一、华泰证券一、华泰证券 用户数将近用户数将近10001000万万 日活用户日活用户500500万，手机端占比万，手机端占比50%50%以上以上 一、华泰证券一、华泰证券涨乐财富通涨乐财富通 一、华泰证券一、华泰证券涨乐财富通涨乐财富通 面临的机遇和面临的机遇和挑战挑战 二二、机遇与挑战、机遇与挑战 背景：华泰集团原有的数据库都是基于商用背景：华泰集团原有的数据库都是基于商用 数据库数据库+ +存储的传统架构。存储的传
3、统架构。 要求：集团提出使用开源数据库的要求要求：集团提出使用开源数据库的要求 OracleOracle到到MySQLMySQL三个重点考量三个重点考量 开源开源MySQLMySQL数据库普数据库普 遍使用的高可用方遍使用的高可用方 案是否满足金融机案是否满足金融机 构的需求构的需求 SQLSQL优化器：目前开优化器：目前开 源数据库的源数据库的SQLSQL优化优化 器和器和ORACLEORACLE商用数商用数 据库相比，差距明据库相比，差距明 显显。 能否用多台服务 器达到单台高性 能小型机的处理 能力 二二、机遇与挑战、机遇与挑战 高可用高可用 效率效率 处理能力处理能力 传统的 主从复
4、制 根据目前的互联网策略， 大规模推广困难。 难以满足金融行业 的要求 依旧是异步复制，弱一致性，理 论上存在丢失数据的可能性，且 存在性能损耗 场景不适合 半同步 复制 NDB 高高可用的可用的考量考量 二二、机遇与挑战、机遇与挑战 挑战：主流方案基本不适合现有的集团挑战：主流方案基本不适合现有的集团需求！需求！ 共享 存储的 HA 效率的考量 SQLSQL效率效率 业务高速增长业务高速增长 目前开源数据目前开源数据 库的库的SQLSQL优化优化 器和器和ORACLEORACLE 商用数据库相商用数据库相 比比，存在差距。，存在差距。 客户数量每年都 在倍增，业务品 种每年都在高速 增加，近
5、几年、 数据量每年都在 近10倍左右增长 二二、机遇与挑战、机遇与挑战 1、如果数据库处理 效率（从oracle到 mysql）不升反而降 低，无法向业务部门 交代。 2、仅仅依靠mysql本 身，短时间内，难以 满足目前的需求。必 须从其他方向找方法。 处理能力处理能力 处理能力处理能力 处理能力处理能力 服务器数量 处理能力水平扩展的考量 二二、机遇与挑战、机遇与挑战 服务器数量 MySQL不很好支持高性能小型机。 能否用多台服务器达到单台高性能小型机的处理 能力。 技术技术方案简介方案简介 三三、技术方案技术方案 分布式数据库中间件的引入分布式数据库中间件的引入 （1 1）通过分库分表，
6、解决）通过分库分表，解决MySQLMySQL的的SQLSQL效率相对不足效率相对不足 的问题的问题 （2 2）利用分布式中间件实现数据库水平扩展的能力）利用分布式中间件实现数据库水平扩展的能力 （3）通过读写分离：解决负载问题 App ID MEMBE_ID INFO 1 pavarotti17 11 pavarotti17 ID MEMBE_ID INFO 4 test1234 5 test1234 ID MEMBE_ID INFO 3 abcd 9 abcd 20 abcd MySQL MySQL 分布式 中间件 DB Proxy App App App App App App App 分
7、布式数据库中间分布式数据库中间件逻辑图件逻辑图: : MySQL 核心功能：分库分表 ID MEMBE_ID INFO 1 pavarotti17 3 abcd 4 test1234 5 test1234 9 abcd 11 pavarotti17 20 abcd ID MEMBE_ID INFO 1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO 3 abcd 9 abcd 20 abcd 库1 库2 字段为条件 路由算法 三、三、技术方案技术方案 分库分表的原理 dn1 dn2 dn3 MySQL 1 My
8、SQL 2 DBProxy select * from orders where prov = wuhan prov=wuhan prov=sh prov=bi db1mysql1 db2mysql2 db3mysql2 分库分分库分表原理表原理 三三、技术方案技术方案 分布式数据库中间件的引入分布式数据库中间件的引入 （1）通过分库分表，解决MySQL的SQL效率相对不足 的问题 （2）利用分布式中间件实现数据库水平扩展的能力 （3 3）通过读写分离：解决负载问题）通过读写分离：解决负载问题 读写分离 DB Proxy MySQL MySQL 主 从 复 制 或 galera cluster
9、 DML SQL Select SQL 心跳检测心跳检测 三三、技术方案技术方案 GaleraGalera ClusterCluster集群技术的引入原因集群技术的引入原因 -高可用方案的几点考量高可用方案的几点考量 1 2 3 金融金融行业对数据要求较高，目前难以直接使用类似主行业对数据要求较高，目前难以直接使用类似主 从复制等主流技术。从复制等主流技术。 倾向使用数据同步的集群倾向使用数据同步的集群，确保没有数据，确保没有数据丢失丢失 切换快速切换快速 同步同步复复 制制 多主架多主架 构构 支持支持 InnoDBInnoDB 存储存储引引 擎擎 各节点间无延各节点间无延 迟且节点宕机迟且
10、节点宕机 不会导致数据不会导致数据 丢失丢失. 无需主从切无需主从切 换操作换操作 任何节点都任何节点都 可以进行读写可以进行读写 。（安全性）。（安全性） 支持支持InnoDBInnoDB存存 储引擎，支持储引擎，支持 事务事务 . 三三、技术方案技术方案 GaleraGalera ClusterCluster特点特点 业务 连续 性高 GALERAGALERA CLUSTER CLUSTER 三三、技术方案技术方案 使用使用GaleraGalera ClusterCluster集群技术集群技术现状现状 （1 1）多应用上线，使用半年时间，系统运行稳定。）多应用上线，使用半年时间，系统运行稳
11、定。 （2 2）数据量、负载情况，吞吐情况）数据量、负载情况，吞吐情况 （3 3）双活双主中心，更加安全（安全的外延）双活双主中心，更加安全（安全的外延） （4 4）同样可以实现读写分离）同样可以实现读写分离 同步复制同步复制 LVS 集群 MySQL 1 MySQL 1 MySQL 2 MySQL 2 MySQL 3 MySQL 4 MySQL 3 MySQL 4 负载负载均衡均衡 VIP LVS 集群 VIP SD F DB proxy DB proxy DB proxy DB proxy 仲裁节点 仲裁节点 物理结构示意图 同步复制同步复制 LVS 集群 MySQL 1 MySQL 2
12、MySQL 3 MySQL 4 MySQL 3 MySQL 4 负载负载均衡均衡 主机房 VIP VIP SD F DB proxy DB proxy 仲裁节点 物理结构示意图 SD F 同步复制 同步复制 LVS 集群 DB proxy MySQL 1 MySQL 1 MySQL 2 MySQL 2 MySQL 3 MySQL 4 MySQL 3 MySQL 4 负载均衡 负载均衡 主机房 VIP LVS 集群 VIP DB proxy DB proxy DB proxy 仲裁节点 仲裁节点 物理结构示意图 新开源技术解决方案研究与实践 新开源技术解决方案研究与实践 研究背景和目标 研究背景
13、和目标 1、现有的MySQL技 术不能完全满足金 1、现有的MySQL技 术不能完全满足金 融证券行业的要求。融证券行业的要求。 （包括（包括GaleraGalera部分 场景不合适：高可 用+性能不损失） 部分 场景不合适：高可 用+性能不损失） 3 IB等高性能 开源技术不断 3 IB等高性能 开源技术不断 成熟成熟 2 根据相关要求， 尽量不使用传统存 储架构。 2 根据相关要求， 尽量不使用传统存 储架构。 四、新开源技术解决方案研究与实践四、新开源技术解决方案研究与实践 RDMA技术技术 InfiniBand网络网络 RDMA通过网络把 资料直接传入计算 机的存储区，将数 据从一个系
14、统快速 移动到远程系统存 储器中，而不对操 作系统造成任何影 响。 InfiniBand架构 是具有高吞吐 低延时的特点 架构 是具有高吞吐 低延时的特点 把把iSCSI协议的命令 和数据通过 协议的命令 和数据通过RDMA 的方式跑到例如的方式跑到例如 InfiniBand这种网 络上 这种网 络上 借用这种开源技 术，可以很灵活 的实现不同机器 间的磁盘高速共 享，我们称为 GLS技术 （Global Link System）。（特 点：灵活、高性 能、低成本. SRP和和ISER 协议协议 RDMA等开源技术的引入 RDMA等开源技术的引入 优势优势 1、首个基于、首个基于MySQL数据
15、库解决方案：能够在提供高性能的同时，提 供数据零丢失的高可用。从容灾效果上来说非常类似 数据库解决方案：能够在提供高性能的同时，提 供数据零丢失的高可用。从容灾效果上来说非常类似ORACLE RAC 的容灾功能。的容灾功能。 2、所有组件为开源产品，自己集成，自主可控。、所有组件为开源产品，自己集成，自主可控。 3、设计应用场景：对数据库性能有很高（使用闪存介质或者、设计应用场景：对数据库性能有很高（使用闪存介质或者flash 卡），且不允许数据丢失。卡），且不允许数据丢失。 4、华泰证券已经完成这个技术的测试，计划在今年对性能要求较高的 系统上进行尝试实施，目前这种方式在全行业尚没有见公开报道。 、华泰证券已经完成这个技术的测试，计划在今年对性能要求较高的 系统上进行尝试实施，目前这种方式在全行业尚没有见公开报道。 四、技术研究分享
