《华为fusioninsighthd金融大数据建设方案》由会员分享，可在线阅读，更多相关《华为fusioninsighthd金融大数据建设方案（32页珍藏版）》请在金锄头文库上搜索。
1、华为FusionInsight FusionInsight 金融大数据建设方案 HCS-Solution-IT 课程负责人：沙长波 部门：IT产品线大数据 发布时间：2016/07/30 HUAWEI CONFIDENTIAL 内部资料 注意保密 课程介绍 内容简介： 本课程主要介绍华为FusionInsight 金融大数据场景方案，主要从金融业务场景、解决方案架构设计、方案 涉及的关键技术、典型案例等方面来进行讲述 面向对象： 华为IT大数据产品相关渠道合作伙伴售前人员 课程目标： 了解金融客户的相关业务场景和业务痛点 掌握华为FusionInsight 金融解决方案规划设计 掌握华为Fu
2、sionInsight 解决方案关键技术 具备华为FusionInsight 金融业务场景解决方案规划、设计能力 版本信息（含发布/修改时间）： 发布时间：2016-07-30 本次修改时间：2016-07-30 Page 3 HUAWEI TECHNOLOGIES CO., LTD. 目录目录 主机负载下移 1 1 2 2 新数仓平台 Page 4 HUAWEI TECHNOLOGIES CO., LTD. 主机在金融行业应用情况 主机主机 业务系统 核心银行业务系统：存、贷、汇、理财； 信用卡业务系统：信用卡； 按业务系统划分按业务系统划分 核心银行业务 信用卡业务 在线交易 （增删改）
3、业务批量 (增删改) 在线交易 （查询） 统计分析 复杂查询 日志分析 按工作负载划分按工作负载划分 工作负载 一个业务系统，可以由不同的工作负载组成： 在线交易：增、删、改、查； 业务批量：批量处理任务； 复杂查询：多表关联查询； 统计分析：统计报表，数据可视化展示； 日志分析：应用日志分析，系统日志分析； Page 5 HUAWEI TECHNOLOGIES CO., LTD. 主机业务现状及技术发展趋势 面临挑战 业务量增加：新业务的引入，渠道的多样化，业 务移动化，业务访问量急剧增加，扩容压力剧增； 性能瓶颈：主机扩展能力有限，数据增长后性能 不能满足要求； 成本高：主机系统采购、后期
4、服务及运维费用高 昂，IT投资成本大； 创新不足：主机生态系统封闭，难以满足金融创 新业务的需求； 业界动态 金融行业去主机化技术发展趋势，全球主机市场 连续5年萎缩； 技术趋势 硬件标准化：基于x86服务器硬件已经标准化，性 能、可靠性满足金融行业核心系统金融等保要求； TCO大幅降低； 开源技术成熟：开源开放的分布式系统已被广泛 接受，Hadoop、Spark等开源技术已成为数据处 理领域的事实标准； 技术可控：开源技术逐渐为金融行业和应用开发 公司的技术人员掌握。 成功商业实践：开源技术如Hadoop、Spark等在 众多金融行业经历了POC测试和生产上线等一系列 成功实践； Page
5、6 HUAWEI TECHNOLOGIES CO., LTD. 主机业务/ /负载下移的几种模式分析 1 业务整体下移 2 仅应用下移 3 查询负载下移 业务一 应用 数据 业务 应用 数据 在线交易 （增删改） 在线交易 （查询） 业务批量 （增删改） 统计分析 复杂查询 日志分析 X86 (应用服务器） X86 (数据库服务器) X86 (应用服务器） 业务 X86 (应用服务器） 主机 X86 (应用服务器） 数据 主机（按工作负载划分） 业务系统 业务 主机（按业务划分） 查询负载下移到分布式平台： 批量数据/实时数据下发到分布 式平台； 查询程序迁移到分布式平台； 支持：实时查询；历
6、史数据查询； 业务整体下移到分布式平台： 系统解耦；应用重构并迁移；数 据迁移； 重建对等的灾备体系； 投入大，风险大，周期长，收益 高； 应用下移到分布式平台： 系统解耦；应用重构； 应用迁移到开放平台，数据库 保留在主机，仅仅把主机作为数 据库平台使用； 业务一 应用 数据 业务 应用 数据 主机（按业务划分） 在线交易 （查询） 复杂查询 分布式应用 实时账户/ 客户信息 交易历史 分布式存储 Page 7 HUAWEI TECHNOLOGIES CO., LTD. 查询负载下移整体架构（包含数据流） 手机银行 网上银行 FusionInsight大数据平台 FusionInsight
7、Farmer 业 务 请 求 接 入 和 分 发 分布式应用容器 查询逻辑 查询逻辑 查询逻辑 FusionInsight HD HDFS ZooKeeper HBase/CTBase Loader 主机系统 数据交换平台 前 置 系 统 3.1 发起查 询(交易账单、 历史申请书、 征信进度等) 实时数据 汇总数据 （实时数据 和T+1数据） 2 以文件方式T+1批量 导入FusionInsight 1 数据ETL 行内业务员 最终用户 3.2 发起查 询(监管等) 4 前置系统： 获取汇总数据 返回； 柜面系统 T+1数据 汇总数据 容灾时使用 该查询路径 Page 8 HUAWEI TE
8、CHNOLOGIES CO., LTD. 查询负载下移方案分析 方案描述： 数据集中，主机中数据每日批量导入大数据 平台FusionInsight Hadoop； 查询程序下移到前置业务系统的Server上； 查询程序向FusionInsight Hadoop平台发起 数据查询； 方案特点： 前置系统的查询程序需要适配Hadoop API， 对前置业务系统改造较大； 仅数据下移到FusionInsight 前前 置置 系系 统统 查询 程序 HD HBase 数据 交换 平台 方案描述： 数据集中，主机中数据每日批量导入大数据 平台FusionInsight Hadoop； 查询程序下移到Fu
9、sionInsight的Farmer数据 服务平台； 前置系统转发查询请求到FusionInsight Farmer平台； 方案特点： 前置系统只需要适配Http接口，改造成本低； 数据下移+程序下移FusionInsight 前前 置置 系系 统统 HD HBase 数据 交换 平台 Hadoop API Http Farmer 查询 程序 Page 9 HUAWEI TECHNOLOGIES CO., LTD. 查询负载下移解决方案详述 Farmer平台平台 查询BLU 查询BLU 查询BLU 查询BLU 查询BLU 查询BLU 查询BLU 前置系统前置系统 查询APP 查询APP 查询A
10、PP 查询APP 查询APP 查询BLU Hadoop平台平台 Hadoop API HTTP 数据交换平台 HBase RegionServer RegionServer RegionServer Loader NBU 前置系统前置系统Farmer平台平台Hadoop平台平台 Hadoop APIHTTP 地区地区1 地区地区2 NBU 主机系统 大数据查询和实时响应大数据查询和实时响应 非实时数据归档非实时数据归档 大数据平台容灾大数据平台容灾 时查询主机时查询主机 前 端 查 询 通 道 方案特点： 1、双活：查询业务为金融B类业务，上生产 系统，异地双活组网； 2、秒级响应：前端查询系
11、统通道会把查询请 求转发两份，一份到本地区，一份到异地； 先返回的查询响应作为查询结果返回。 3、查询分布式：Farmer（分布式服务框架） 平台可以部署查询的多个实例，水平扩展。 4、数据分布式： HBase（分布式NoSQL数 据库）中存放T+1数据，异地集群数据一致。 5、 BLU实现路由功能：BLU分别向hadoop 获取T+1数据和主机系统获取实时数据； Page 10 HUAWEI TECHNOLOGIES CO., LTD. 关键技术：FarmerFarmer 大数据应用使能器 大数据实时应用使能器，支撑企业快 速开发基于大数据平台的应用。 1、分布式大数据服务框架和标准服务 二
12、次开发SDK，透明化访问Hadoop，聚焦业务逻辑 高可靠的分布式处理框架，去中心化的负载均衡能力， 和服务实例的弹性伸缩能力 基于Activity的服务编排 支持应用的灰度发布 隔离的轻量级应用容器 2、多协议接入和缓冲简化应用集成 高性能的多协议接入部件，通过ALB隐藏内部拓扑细 节 高性能、高可靠消息队列部件 热点数据redis加速 Server or VM PaaS BLU1 Farmer SDK Deploy on Deploy on Access Load Balance Page 12 HUAWEI TECHNOLOGIES CO., LTD. 查询负载下移的客户价值 客户价值
13、业务创新 集中式到分布式架构演进集中式到分布式架构演进 大数据平台大数据平台：构筑大数据共享平 台、迁移数据、改造应用；基于 该平台做业务创新； 大数据技术创新大数据技术创新：完成数据集中， 初期实现查询功能；为业务创新 做准备，后续做客户画像，精准 营销； 提升用户体验 用户体验至上用户体验至上 响应时间快响应时间快：精确查询毫秒级响 应； 高并发高并发：通过分布式技术，线性 扩展，支持高并发； 查询时间范围大查询时间范围大：分布式存储保 存更多的历史数据；查询7+以上 历史数据、账单记录； 易集成、无锁定 开放、开源开放、开源 降成本降成本：服务器使用X86，硬件 标准化；TCO大幅下降；
14、 技术无技术无LockLock- -inin：使用成熟的开 源技术Hadoop，技术上防止被 个别厂商Lock-in； Page 13 HUAWEI TECHNOLOGIES CO., LTD. 案例：业务查询负载下移解决方案 主机上查询负载占总业务量的近xx%，随着业务 量增加，主机急需扩容； 主机扩容成本高，线性扩展差； 主机为少数厂商Lock-in，创新受限； 客户挑战 解决方案 开放的大数据平台： FusionInsight Hadoop分 布式存储和分析平台； 并发查询能力：FusionInsight Farmer数据消费 平台支持多业务系统并发访问；快速开发和部署 新的查询类业务；
15、 客户价值 查询负载下移至X86服务器；TCO下降XX%； 精确条件的查询结果可在毫秒级返回；提升最终 用户体验； 网上银行 柜面系统 FusionInsight大数据平台 Farmer 业 务 请 求 接 入 和 分 发 分布式应用容器 查询逻辑 查询逻辑 查询逻辑 Hadoop HDFS ZooKeeper HBase/CTB ase Loader 信用卡业务 核心银行 数据交换平台 前 置 系 统 实时数据 汇总数据 2 以文件方式T+1 批量导入Hadoop 1 数据ETL T+1数据 汇总数据 容灾时使用 该查询路径 查询 手机银行 X86服务器 X86服务器 X86服务器 Page
16、 14 HUAWEI TECHNOLOGIES CO., LTD. 案例：物理组网（信用卡业务查询负载下移） Farmer 机架机架1 Farmer 机架机架2 APP 机架机架1 APP 机架机架2 大数据网络区大数据网络区业务网络区业务网络区 Hadoop 机架机架2 Hadoop 机架机架1 汇聚层汇聚层 CISCO 7010 HUAWEI CE12800 接入层接入层 CISCO 5548 HUAWEI CE6800 大数据内部流量 业务流量 业务网络区业务网络区 =600G，2块（Raid1） 控制节点 3 物理机 CPU 最低双路8核Intel处理器 Bit-mode 64位 内存 大于等于128G 后置磁盘(OS盘) 600G SAS * 2（Raid1） 前置磁盘(数据盘) =600G，10块（Raid1） 业务网络
