《联动大数据处理架构的选择和演进》由会员分享，可在线阅读，更多相关《联动大数据处理架构的选择和演进（16页珍藏版）》请在金锄头文库上搜索。
1、To create a happy lifestyle enjoyed by all people through technology 用科技创造人人乐享的生活方式 联动大数据处理架构的选择和演进 联动大数据处理架构的选择和演进 20172017年年1111月 月 公司介绍 公司介绍 2003 2003 联动优势科技公司联动优势科技公司 2003年8月联动优势科技 公司成立，主营运营商 增值业务 2011 2011 联动优势电子商务公司联动优势电子商务公司 电商公司成立，主营支付业务 2014 2014 保理公司保理公司 主营业务供应链金融 2015 2015 安派国际安派国际 主营跨境电商
2、支付 2016 2016 海立美达重组上市海立美达重组上市 成为上市公司 业务介绍 业务介绍 聚合支付?运营商服务? 惠商营销? 风控建模? 跨境支付? 行业解决方案 行业解决方案 互联网 互联网 电商 电商 航旅 航旅 银行 银行 证券 证券 保险 保险 集贸 集贸 物流 物流 数据中心1.0 数据中心1.0 企业内部数据仓库，支持内部运营 数据怎么存、结果怎么查 做好选型，先用起来，后续优化 定位 问题 关键 Hdfs Hdfs HBaseHBase Hive Hive IBM IBM Netezza Netezza 数据中心1.0技术架构 数据中心1.0技术架构 Logs DB2? Qu
3、ery? Interface? Web Show? Diagram? Mail? Operation Analysis? 内部数据中心服务平台2.0 内部数据中心服务平台2.0 问题 改进 1. 维护多个数据平台 2. 无法满足实时分析需求 3. 缺乏统一的查询入口 Presto, ES, Storm, Redis, Kafka, Neo4j 内部数据中心服务平台2.0架构 内部数据中心服务平台2.0架构 Logs DB2? Doc? . Kafka 数据源 Storm 实时处理系统 离线处理系统 数据清洗标准化 数据清洗标准化 离线报表统计展示 离线报表统计展示 实时运营分析 实时运营分析
4、Redis, ES, Neo4j Redis, ES, Neo4j 实时风控系统 实时风控系统 Hadoop,Hive,Hbase Hadoop,Hive,Hbase 数 据 消 费 查询解析器?数据出口 集集 群群 监监 控 控 内部数据中心服务平台2.0-数据查询分析 内部数据中心服务平台2.0-数据查询分析 Query 查询解析器 Hive Hive Presto Presto HBase HBase Neo4j Neo4j ES ES Redis Redis HDFS HDFS Data ? 任任 务务 调调 度度 系系 统 统 内部数据中心服务平台2.0-实时计算处理 内部数据中心服
5、务平台2.0-实时计算处理 实 实 时 时 数 数 据 据 采 采 集集 K a f k a S t o r m 执行业务逻辑 数据清洗入库 HDFS HDFS Neo4j Neo4j ES ES Redis Redis HBase HBase 触发设定规则 触发设定规则 业务情况提醒 业务情况提醒 大数据服务平台3.0 大数据服务平台3.0 定位 挑战 主要满足对外部商户服务 PB，TPS，ms，99.9% 场景信用评估，反欺诈，风控管理 解决 数据分层，高可用，机器学习，缓存预处理 大数据服务平台3.0数据分级 大数据服务平台3.0数据分级 Application Summary Base
6、 HBase、ES 应用层应用层 Hive 汇总层汇总层、分析层分析层、临时提取层 临时提取层 Hdfs、Hive 近源层近源层、明细层明细层、历史层 历史层 大数据服务平台3.0机器学习 大数据服务平台3.0机器学习 信用评估 贷后管理 风险管控 资产定价 反欺诈 HDFS HDFS Yarn Yarn Spark Spark Mr Mr Zookeeper Zookeeper HBase HBase Streaming Streaming Graphx Graphx Sql Sql MLlib MLlib Mahout Mahout Pig Pig Hive Hive Kafka Kafk
7、a Sqoop Sqoop Redis Redis Mysql Mysql ElasticSearch ElasticSearch Presto Presto Flume Flume 大数据服务平台3.0应用组件 大数据服务平台3.0应用组件 大数据服务平台3.0高可用框架 大数据服务平台3.0高可用框架 Master Master Keepalived Keepalived Nginx Nginx Nginx Nginx Front Front Front Front Cache Cache Count Count Keepalived Keepalived Nginx Nginx Nginx Nginx Service Service Service Service Keepalived Keepalived Nginx Nginx Nginx Nginx Access Access Access Access backup backup Db2 Db2 联动优势愿景 联动优势愿景 专业服务专业服务+ +多年经验多年经验 金融科技金融科技+ +行业应用行业应用 谢谢谢谢！
