《京东金融大数据分析平台总体架构-V1.0-201308(技术分享-无商业目的).ppt》由会员分享，可在线阅读，更多相关《京东金融大数据分析平台总体架构-V1.0-201308(技术分享-无商业目的).ppt（82页珍藏版）》请在金锄头文库上搜索。
1、道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 金融集团大数据分析平台 总体架构 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 2 议程 大数据分析平台综述大数据分析平台综述大数据分析平台综述大数据分析平台综述 1 1 1 1 大数据分析平台总体架构大数据分析平台总体架构 2 2 大数据分析平台演进路线大数据分析平台演进路线 3 3 大数据分析平台一期实施重点大数据分析平台一期实施
2、重点 4 4 附录：数据质量管理平台附录：数据质量管理平台 5 5 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 3 金融集团管理分析类应用建设现状基本分析 关注的内容关注的内容存在的问题存在的问题基本的现状基本的现状 l商城数据仓库累积数据没有充分利用 l缺乏面向整个金融集团的统一、完整 的数据视图； l缺乏支撑金融集团日常业务运转的风 险评估体系； l缺乏金融集团客户360度视图，客户 行为分析和预测无法实现； l缺乏面向金融业务运营管理的关键绩 效指标体系； l l商城已建立
3、面向整个零售业务的数据 仓库，整合了前台业务运营数据和后 台管理数据，建立了面向零售的管理 分析应用； l金融集团已开展供应链金融、人人贷 和保理等多种业务，积累了一定量的 业务数据，同时业务人员也从客户管 理、风险评级和经营规模预测等方面 ，提出了大量分析预测需求； l 数据数据平平台台、数据、数据应用应用、数据管控、数据管控 基础数据平台和基础数据平台和BIBI应用建设是未应用建设是未来一段时间的重点！来一段时间的重点！ l数据平台整体架构； l 数据平台各层建设的标准； l 较成熟的金融业数据模型； l 数据质量治理； l 元数据管理； l 数据标准建设 l 数据整合； l 数据应用建设
4、； l 数据平台的软硬环境 l 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 4 大数据分析平台建设目标 外部非结构化数据 统一制定目标和分 析模型 统一划分分析主题 统一设计数据模式 统一规划分析方法 统一部署技术基础 统一定义BI 应用 自定义报表工具 行列的简单定义方式 多种格式报表 集团决策层 集团职能管控层 各级业务操作层 关注集团主 要经营指标 业务人员使用BI应用 实现业务协作和创新 BI 分析工具 供应链金融系统 POP系统其他业务系统 云数据推送平台已实现了 主要
5、零售及金融业务系统 数据清洗、整合，为未来 金融集团数据平台提供了 丰富的数据源。 通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行 前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力 采购管理系统 查看职能部门的 业务经营情况 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 5 大数据分析平台建设预期收益 2.加强业务协作 实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集 中和整合，建立单一的
6、产品、客户等数据的企业级视图，有效促进业务的集成和协 作，并为企业级分析、交叉销售提供基础 3.促进业务创新 金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融 业务创新（客户服务创新、产品创新等）创造了有利条件 4.提升建设效率 通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关IT系统的建设和运行效率 5.改善数据质量 从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助 于企业整体数据质量的改善，提高的数据的实用性 通过数据平台实现数据集
7、中，确保金融集团各级部门均可在保证数据隐私和安全的 前提下使用数据，充分发挥数据作为企业重要资产的业务价值 1.实现数据共享 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 6 议程 大数据分析平台综述大数据分析平台综述 1 1 大数据分析平台总体架构大数据分析平台总体架构大数据分析平台总体架构大数据分析平台总体架构 2 2 2 2 大数据分析平台演进路线大数据分析平台演进路线 3 3 大数据分析平台一期实施重点大数据分析平台一期实施重点 4 4 附录：数据质量管理平台附录：数据质量
8、管理平台 5 5 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 7 大数据分析平台总体架构 历史数 据查询 数据交换平台 应用集市数据区 商城零售供应链金融人人贷系统基金系统系统企业内外部半结构化、非结构化数据 大数据交换组件数据库数据交换组件数据区数据交换组件 数据计 算层 大数据区 沙盘演练数据区 数据应 用层 实时数据区 客户主题协议主题产品主题 业务沙盘演练 数据增 值产品 零售数据供应链数据 增值产 品数据区 主 题 数 据 区 用户访 问层 客户汇总账户汇总机构汇总 社
9、交媒体 移动互联 用户评价 访问日志 处理后大数据 待处理大数据 流程调度监控告警 数据标准数据质量元数据数据安全 流程 调度 平台 数据 管控 平台 流程调度层 数 据 管 控 层 数据 产生层 数据交 换层 实时数 据查询 客户管理财务管理 外部用户 贴源数据区 内部管理分析 内部用户 历史归档数据区 IT人员 风险管理 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 8 大数据分析平台总体架构数据产生层 l内部业务系统产生的结构化数据 v商城日常零售业务处理过程中产生的结构化数
10、据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水 v金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水 l企业内部非结构化数据 v日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评 l企业外部数据 v企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息 源数据内容 l在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据 l商城和金融集团业务系统的数据 v增量数据识别、获取由云数据推送平台负责，云数据推送平台
11、采用分析、对比源系统日志方式实现 v对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量 v初始数据加载均采用全量模式 源数据增量 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 9 大数据分析平台总体架构数据交换层 数据交换层设计目标 传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储 库的特点来针对性的设计工具，以追求卓越的性能 保证数据在平台内高速流转 保证数据交换过程中不失真 保证数据交换过程中不丢失 保证数据交换过
12、程安全可靠 数据区数据交 换组件 数据库数据交 换组件 大数据交换组 件 金融集团系统 数据服务层 外部 大数 据 商城系统 Hadoop 元数据 云数据推送平台 数据平台导入 临时区 数据平台导出 临时区 NAS 存储 ETL程 序区 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 10 大数据分析平台总体架构数据交换层NAS存储 HadoopHadoop集群元集群元 数据数据区区 数据数据平台平台ETLETL数据数据 处理程序区处理程序区 数据数据平台临时数平台临时数 据区据区
13、存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件 系统元数据 集团数据交换平台每日获取运输局推送平台提供的业务系统变 化数据，暂存在NAS临时数据区 金融数据平台加工计算结果返回给业务系统，暂存在NAS临时 数据区 数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据 处理等）统一存储在NAS集群指定目录，各接口服务器通过文件 系统Link建立映射 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 11 大数据分析平台总体架构数据交换层大数据交换组件 l企业内部非结
14、构化 、半结构化数据， 如：音频、视频、 邮件、Office文档 、抵押品扫描件等 l企业外部非结构化 、半结构化数据， 如：微博、贴吧、 论坛、用户点击流 、用户移动位置等 l批量采集：大数据 源以SFTP协议批量 传输数据文件 l在线访问：开发 Java或C应用，调 用大据源API，或 以网络平台爬虫方 式抓取源系统非结 构化、半结构化数 据 l组件以实时和批量 两种模式实现下列 功能： v数据采集 v数据传输到数据交换 平台（接口服务器） NAS指定目录 v存储数据到数据平台 大数据区指定HDFS 目录 l定时抽取用户访问 日志，加载到数据 平台大数据区HDFS 指定目录，MR程序 加工
15、处理 l开发网络爬虫程序 ，扫描用户微博， 抓取用户微博内容 ，社交圈信息，存 入大数据区 处理对象实现技术实现功能应用场景 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 12 大数据分析平台总体架构数据交换层数据库数据交换组件 l企业内部业务系统产 生的结构化数据，包 括两大来源： v商城零售业务数据，数 据存储在Oracle、 SQLServer、MySQL 和MongoDB四类数 据库 v金融集团互联网金融业 务数据，数据存储在 MySQL数据库 lPerl程序 v数据采集，
16、调用 Perl文件模块相关函 数，轮询指定目录， 获取数据文件 v数据核查，Perl执行 文件级数据质量检查 v数据加载，调用 Hive Load数据命令 ，加载到数据平台临 时数据区的Hive Table l组件以实时和批量模 式实现下列功能： v数据采集，轮询NAS集 群指定目录，获取数据 文件（LZO压缩） v数据核查，对数据文件 进行质量校验 v数据加载，加载数据到 临时数据区 l云数据推送平台连接 供应链金融系统数据 库，分析供应链金融 MySQL数据库日志， 识别增量数据，存储 到金融平台NAS存储 的指定目录，金融平 台加载数据文件到数 据平台临时区Hive表 处理对象实现技术实现功能应用场景 道德是一定社会、一定阶级调节人与人之间、个体与社会、个体与自然之间各种关系的行为规范的总和。这种规范是靠社会舆论、传统习惯、教育和内心信念来维持的。 Page 13 大数据分析平台总体架构数据交换层数据区数据交换组件 l数据平台计算层各 数据区 v贴源数据区 v主题数据区 v集市数据区 v
