《安全可控背景下的开源数据库演进》由会员分享，可在线阅读，更多相关《安全可控背景下的开源数据库演进（28页珍藏版）》请在金锄头文库上搜索。
1、,安全可控背景下的开源数据库演进,分布式和云,通用数据库流行趋势分析,开源数据库架构演进,公司能力简介,1,2,3,通用数据库流行趋势分析,数据库流行趋势,数据库流行趋势,第一梯队 Oracle MySQL MSSQL 第二梯队 PG MongoDB 第三梯队 DB2 ES Redis Cassndra,数据库流行趋势：开源VS商业化,不同数据库种类的开源许可与商业化许可的占比,开源软件许可协议,GPL MySQL BSD Postgres Apache TiDB,数据库流行趋势：互联网时代造就MySQL的崛起,MySQL稳居开源数据库排行榜第一,MySQL因其易用性、开源、成本低、性能好的特
2、点被广泛应用在大中小型互联网公司。,分布式数据库,利用计算机网络将物理上分散的多个数据库连接起来组成一个逻辑上统一的数据库， 为业务应用提供完整的 联机事务处理,核心技术 分布式存储 事务处理 分布式SQL查询,分布式事务解决方案,支持XA、TCC和消息中间件三种分布式事务的实现方式， 需专家进场后进行详细设计,分布式数据库应用场景,数据库选型时的思考,自主可控 - 满足业务需求和行业竞争的需要 人才储备 - 人才是核心竞争力 社区生态 - 社区活跃、应用场景广泛、易用性、文档支持、技术书籍 技术因素 - 选择最熟悉的技术、选择有强大社区支持的开源软件、技术有持续演进发展,开源数据库架构演进,
3、覆盖MySQL全生命周期的产品&服务,关注、技术储备,尝试、单机、主从,高可用、一致性,高并发、高性能,大容量、分布式,自动化运维管理,云平台、资源池,数据同步、灾备,MySQL全生命周期,技术服务 运维规范体系、开发规范体系、技术咨询、维保服务（远程+现场）、数据迁移、项目实施、性能优化,云树Proxy - 读写分离中间件 连接池、延迟检测、流量统计 云树G云ua树rd-Gu高ar可d用软件 金金融融级级高高可可用用、自自定定义义切切换换策策略略 技术培训 运维管理、开发测试、开源技术,DBLE（开源） - 分布式中间件,数云据树分片、Sh应ar用d透(明开、源动-态DB扩L容E)、 数复据
4、杂分查片询、应分用布透式事明务、动全态局扩序容列、,云树DTS（开源-DTLE） 数据复制（灾备、双活）、数据过滤、数据汇聚、数据订阅消费、数据迁移（本地、公有云、混合云、私有云） 云树RDS 自服务、镜像模板、IAAS对接、流 程审批、可用区管理、租户权限 云树DMP 自动化部署、备份恢复、资源纳管、 自动批量化处部理署、日备志份、恢用复户、管资理源,银行业务模型的发展催生IT系统转型需求,移动互联网时代带来了不受地域时间限制的海量小额交易，因此： 每笔交易的TCO成本需要控制；UNIX+IOE架构大约要3-4元 RMB/笔，x86+开源架构大约0.2-0.3元/笔； 系统整体吞吐量需要提升
5、；UNIX架构采用scale up方式，面 临系统换代更多银行会选用x86+分布式技术栈支撑业务量的 大幅增加；,某大型银行案例,2017年5月增长到300个MySQL实例时遇到分布式和运维管理的问题，替换到产品的解决方案 金融级数据库MySQL产品：金融级高可用、分布式中间件、大体量运维管理平台、开发运维体系规范建设服务； 可维护性：从100+实例增长到3000+实例；今年年底计划5000+实例，让业务大规模上线可操作； 数据库生产力：由支撑若干小业务系统到10+大型业务系统（6个A+类），100+小型业务系统，有效降低数据库TCO； 核心系统保障：三类账户支付系统2018年双十一/春节交易
6、峰值15000TPS；网银互联应用系统两地三中心和同城双活，满足灾备5级要求，RPO=0； 运维体系建设：MySQL源码支持、第三方咨询服务&产品、自身能力提升，为该行提供OCP培训并完成20+人员认证；,银行双模IT建设,A类：核心系统群,核心银行系统 银联卡系统 综合大前置,指纹授权服务,COP柜面前置,A类/B类：部分信贷、银行卡、渠道等系统 验印系统三类账户支付信贷管理 自助终端服务电子汇票信贷影像 手机银行社保公积金国库支付 网点营销,C类：国际业务、中间业务,对公账户产品 境外服务产品,ATM监控,客服系统,D类：内部信息业务,客户CRM 风险监控 合规监控 OA办公,专有服务器资
7、源,新应用负载支持,大型机或高端UNIX小型机 （物理机器或逻辑分区）,共享服务器资源 高端UNIX小型机高端X86服务器 低端UNIX小型机X86物理机,X86虚拟机,X86物理机,X86虚拟机,FC-SAN/IB 网络,“IOE”UNIX 高端硬件+商业软件,X86Linux/windows 商业硬件+开源软件+商业服务,高端存储,Oracle/DB2,备份管理软件,同城双活软件 两地三中心,安全、稳定,中端存储,SQL Server /MySQL,私有云,分布式 同城异地,可靠、规范、效率,某大型银行开放平台OLTP转型发展历程,某大型银行MySQL整体建设逻辑架构,云树DMP,数据库管
8、理员,云树DMP,上海嘉定 数据中心,MySQL 5.6异步复制,主,从,replication,DBLE 分布式中间件集群,MySQL 5.7半同步复制,从,主,replication,kafka,上海外高桥 数据中心,高可用行为,部分 业务系统,InfoSphere CDC,现有运维 管理体系,监控 告警,统一 巡检,API,K8S容器编排,核心目的：去IOE，让MySQL数据库支,撑快速增长的业务数量和数据规模；,架构支撑：金融级高可用、分布式改,造，支撑A类业务系统上线MySQL；,大体量运维部署：具备10分钟内安装,部署200个MySQL实例的能力；,对接现有运维体系：满足该行统一告
9、,警系统合规要求，输出告警应急手段；,开发运维人员赋能：完成20+DBA和开,发的OCP培训以及认证；辅助该行建立,自己的MySQL运维技术体系；,. .,. .,. .,. .,重点方案 - 更可靠的MySQL分布式建设方案,Ucore,Ucore,Ucore,Ushard(主),Ushard(备),管 理 区,DBLE调度管理层,UGuard_Agent,Ustats,UGuard_Agent,Ustats,数 据 库 实 例 区,UMC（web管理端）,UGuard_MGR(主),执行 SQL下发,接收 网络IO,计算 SQL路由,接收 DB返回,业务SQL 请求,业务SQL 返回,UG
10、uard_MGR(备),写密集线程池组,判断&输出 结果 读密集线程池组,Ushell,分 布 式 中 间 件,一阶段重点项目 - 个人客户信息辅助系统,应用情况：共20TB，由DBLE管理64个HASH分片，承载业务查询（白天），由Kafka从DB2/Oracle批量写到MySQL（夜间）； 业务性能：关注整体吞吐量，通过水平拆分扩展支撑50万读TPS，读写比10:1；本地、同城自动化切换；应用双活； 表明细：当事人：557张表，存储容量10T，日均业务量1.83亿笔；介质协议：36张表，存储容量1.6T，日均业务量5800万； 事件-其它：54张表，存储容量2.8T，日均业务量5700万；
11、产品-账户：48张表，存储容量1.2T，日均业务量5500万；,二阶段重点项目 - 网银互联应用,应用情况：银行间跨行汇款、支付类业务，存在增删改操 作，按照用户、卡号维度进行分片，交易数据能较好内聚 在单库节点；应用集群到DBLE通过F5实现负载均衡； 部署架构：大二层网络，两园区都承载业务，由中间件层 进行园区间数据流量转发以及限流；分片双活； 可靠性：根据业务系统，最高可满足银行灾备等级第五级 容灾要求； 可维护性：同数据中心自动切换，保障切换时RPO=0，跨数 据中心API调度人工确认整体切换，RTO30S； 上线保障：协助找出MySQL原生主从复制bug，并向Oracle 提出，现已
12、修复；,该行开放OLTP平台的产品组件,快速部署,云树DMP 数据库集群管理平台,流程优化,监控运维,安全防护,架构优化,平 台 权 限,高 可 用,读 写 分 离,分 库 分 表,数 据 库 权 限,MySQL数据库 高可用架构 - (A-S 数据主备),跨数据库 读写分离 - (A-Q 交易-查询),读,MySQL 分布式,Oracle DB2,写,数据库集群 分布式分库分表架构 - (A-A 同城异地双写),MySQL分片1,主,从,主,从,主,从,MySQL分片2,MySQL分片N,SQL变化和分发,MySQL 主库,MySQL 从库,异步复制/半同步复制,RTO/RPO/本地 自动切
13、换,kafka 夜间批量 导入,运维管理平台,一键式安装部署，版本的升级及参数配置维护； 实现批量变更 分片算法配置和分片规则配置 监控告警 建立告警基线 建立应急流程 内部组件告警及自愈修复 故障分析 完善日志记录，采集和分析 建立故障分析规范 自动巡检 自动化巡检和评分报告 实例健康状态评分 性能容量管理 高可用管理 备份恢复、演练 贴近银行业务特点的SQL审核,某股份制银行RDS案例,解决方案： 实现了面向多租户开发测试环境和生产环境的数据库自服务、随需创建扩缩、便捷自动管理和运维的统一规范的数 据库云平台。 方案价值： 目前DBaaS平台已投产系统100多套，生产环境近2000个数据库实例。 提升了快速的MySQL服务交付能力 形成了标准的MySQL运维管理规范 实现了全面的MySQL运维自动化能力 已经支持了手机银行业务、CRM、信用卡、财富体验、个贷系统、互联网在线融资、信用卡企业服务等上百个项目，加 快了开发、单元测试、功能测试、集成测试和生产部署的处理流程，从数据库层面满足业务敏捷性需求。 手机银行中的账户明细查询网银收支明细查询，采用My
