《数据湖建设解决方案》由会员分享，可在线阅读，更多相关《数据湖建设解决方案（39页珍藏版）》请在金锄头文库上搜索。
1、数据湖建设解决方案目 录 项目概述1总体规划2建设方案3项目建设背景“4智”应用基础支撑企业集团大数据智能化经营管理智能化业务作业智能化医疗健康行业运营智能化解决数据“汇”、“存”、“管”、“用”、“营”难题 数据湖及应用平台数据管理和业务应用要求数据分散：基础数据分布在各个应用平台中，应用开发商整合能力差；数据管理能力较弱：缺乏统一的数据标准管理、数据质量管理、数据开发管理、数据服务管理、数据安全管理和监控运维管理等；数据利用能力不强：现有数据无法适应新业务需求，同时历史数据无法并入新的系统再利用。集团战略要求集团战略管控数字化；业务运营数字化；产业协同数字化；管理支撑数字化。“十四五“规划
2、愿景响应国家“十四五”规划提出的“加快数字发展，建设数字中国”，推进“三医”联动持续深化改革，以“守护生命与健康”为使命，筹划建设“集团城市健康中心”，打造以传统中医药理论为基础，依托现代科技赋能，基于用户关系经营，通过大数据、实体医疗、网络诊疗平台、药事服务平台和 新零售平台等提供防、养、调全渠道多场景的健康产品、健康内容、健康定制和健康管理服务，打造一站式解决目标用户健康问题的创新型健康服务中台。集团信息化现状分析n集团领导n市场n财务n销售n运营办公自动化系统三方OMS生产管理系统全渠道数字化平台移动应用门户网站ERP系统人力资源系统业务信息系统集团级集团财务系统业务系统信息化基本形成体
3、系项目管理级公司级1线上线下业务信息化整合工作稳步推进2决策管理和数据分析应用正在迭代完善3集团统一数据管理和应用体系尚未建成4业务运营和管理遇到的问题分析未统一业务口径和数据标准数据质量层次不齐缺乏统一数据管理支撑平台需方多、变化快n信息化投入较大，却不能及时有效了解集团整体业务运营情况n海量业务报表，却无法对决策管理提供有效支撑n无法通过企业关键绩效指导决策n大量时间精力投入到数据收集、报表制作中n缺乏统一的业务运营口径和指标标准n业务的管理口径和财务口径不一致，各部门运营管理信息存在交叉重复n对上级部门运营管理汇报要求不够灵活，响应效率低下；对下级单位数据收集不及时、不准确n运营管理缺乏
4、综合性系统和完整的数据支撑能力n缺少统一的平台满足决策层、管理层和运营层等对数据应用的各种需求n运营管理需求反复变更、“多对多”的情况，IT服务部门疲于应付n运营管理应用需求类型多、数量多、口径不一和数据质量差等原因，导致开发周期较长，时效性差等问题n业务数据来源分散，缺乏整合统一的基础数据，无法有效支撑决策和管理集团高管层（决策层）IT服务支撑层业务运营管理层数据孤岛、数据分散总体建设目标以“守护生命与健康”为使命，推动企业数字化转型，建立集团数据湖及应用平台，全面提升集团智慧化经营决策管理能力。借助5G、云计算、大数据、物联网和人工智能等技术，重点解决战略闭环、业务运营、管理支撑等业务系统
5、间数据不通和数据孤岛等问题，破解数据“汇”、“存”、“管”、“用”、“营”等难题。通过建立集团统一的数据湖及应用平台，提供数据汇聚、存储、治理、分析、服务、共享、应用和运营能力，夯实企业大数据智能化、经营管理智能化、业务作业智能化、医疗健康行业运营智能化的“4智”应用基础支撑能力，构建跨业务、跨部门和跨层级的融合应用场景，形成企业“数智化”运行的智能中枢，实现经营状态的实时监测，经营数据的辅助决策、指标的智能预警预测，关键问题的智慧决策，打造集团运行管理闭环与智慧化决策能力 。总体建设目标数据汇聚能力数据存储能力数据治理能力数据分析能力数据服务能力数据应用能力数据运营能力离线数据采集实时数据采
6、集结构化数据采集非结构化数据采集视频数据采集物联网数据采集互联网数据采集手工数据补录采集数据库数据存储文件数据存储图片数据存储声音数据存储视频数据存储关系图谱数据存储时序数据存储数据架构管理数据标准管理数据建模管理数据开发管理数据调度管理数据质量管理元数据管理数据安全管理数据生命周期管理统计分析灵活查询多维分析数据挖掘人工智能标签管理指标管理知识图谱数据可视化数据需求管理资源目录管理数据服务接口管理数据共享交换管理数据报送管理数据开放管理数据服务评价人员管理用户管理营销管理渠道管理财务管理风控管理工程管理生产管理监管报送数据运维管理数据产品管理数据资产价值评估数据资产营销推广数据资产合作数据资
7、产价值变现数据运营考核评价1234567n总体架构规划n数据架构规划n技术架构规划n应用体系规划n数据治理规划n数据共享规划n平台工具规划n平台建设蓝图规划n建设目标规划数据湖及应用平台框架体系、搭建技术基础平台，实现C端用户数据采集、入湖、治理和共享服务，以及支撑企业务+（私域流量业务）综合分析和智能化应用，总结经验教训，为集团数据湖及应用平台的整体建设奠定基础。目标基础平台搭建数据治理体系建设数据共享服务建设数据分析应用建设框架体系规划大数据平台TBDS安装部署数据治理产品安装部署数据共享交换产品安装部署用户数据采集用户数据建模用户数据开发数据质量检查元数据管理数据标准管理用户需求分析应用
8、设计数据及应用开发数据共享与服务对接共享服务需求分析资源目录梳理共享服务发布共享服务申请用户信息调研共享服务调用12345共享服务授权预期成效：”七步走”解决企业面临的数字化转型发展痛点利用大数据技术建立集团统一的数据湖，实现数据采集、存储、处理、分析和服务的统一管理，提高信息和数据的响应时间，提高经营管理工作效率，有利于压缩开支，降低管理成本，推进数字化转型发展。03020406070503信息烟囱 数据分散 利益割据 数据保密不全面 数据标准不统一 管理机制不成体系 安全保障不健全 数字化转型面临的痛点”七步走”解决问题1 1设立专管机构，完善管理体系2 2整合数据孤岛，统一数据标准3 3
9、构建数据采集体系，打通数据整合通道4 4设计数据存储策略，提升数据存储效率5 5初步构建数据治理体系6 6制定数据共享服务策略，促进数据融合安全发展7 7奠定数据应用基础，打造大数据综合应用能力目 录项目概述1总体规划2建设方案3建设总体思路搭建技术基础平台，探索平台应用能力第一阶段夯实数据基础，推进服务与应用建设第二阶段完善应用体系，提升平台智慧能力第三阶段建立数据运营体系，持续优化平台能力第四阶段数据湖及应用平台建设规划数据采集技术平台搭建数据存储技术平台搭建数据处理技术平台搭建数据调度技术平台搭建数据治理技术平台搭建数据共享技术平台搭建试点数据域（用户）采集、存储、治理、分析和共享实施集
10、团与事业部应用建设全面支撑（人员管理、用户管理营销管理、渠道管理、财务管理、工程管理、合同管理、生产管理、风控管理、应急指挥、监管报送）基础分析能力完善（指标、标签、知识图谱）综合分析应用增强态势感知能力建设实时分析应用场景体系建设算法模型体系建设AI服务体系化建设区块链技术场景应用数据资产运营规划数据产品体系建设数据产品价值评估体系建设数据价值变现体系建设数据运营安全体系建设数据采集能力迭代升级数据治理能力迭代升级数据分析能力迭代升级数据应用能力迭代升级数据共享服务能力迭代升级算法模型中心健全AI服务能力迭代升级场景应用持续推进数据运营考核体系建设数据治理体系咨询规划技术平台能力增强集团与四
11、大事业部数据入湖全域数据采集、存储、治理、分析和共享体系建设数据治理体系建设AI平台搭建与应用探索基础分析能力建设（指标、标签、知识图谱）综合分析应用建设实时分析与应用场景探索重点应用建设支持数据湖及应用平台总体架构（构建六个平台、四个中心、三个保障体系，一个统一门户）运维保障体系安全保障体系标准规范体系保障体系数据运营中心数据共享开放平台 数据汇聚平台 存储计算平台 数据处理平台数据共享交换离线数据同步实时数据同步数据补录共享监测共享审计权鉴发布订阅认证注册数据源业务系统互联网数据外部数据物联网数据HR系统OAERP主数据渠道系统三方OMS财务系统Hadoop关系数据库MPP内存数据库图数据
12、库对象数据库时序数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度 数据分析平台统计分析多维分析即席查询机器学习数据挖掘数据治理平台数据质量管理元数据管理数据标准管理数据模型管理数据生命周期管理数据安全管理主数据管理AI中心数据资源中心指标服务标签服务数据产品服务知识图谱服务可信计算服务数据沙箱服务多方安全计算服务数据检索服务文件共享服务库表共享服务接口共享服务共享服务引擎共享服务管理共享服务保障文本识别影像识别语义解析图像识别语音识别数据服务中心数据需求管理应用集成运营可视化数据资源目录管理租户管理统一用户/权限数据统一门户数据产品管理数据资产价值评估数据资产营销推广数据资产价值
13、变现数据运营维护运营考核评价12345678实时分析9101112业务赋能管理驾驶舱客户营销资金管理财务分析产能预测风险审计用户分析绩效考核监管报送13平台管理实时数据区汇聚区临时库ODS库基础区主题区分析区应用集市区实时数据存储实时分析处理实时指标计算当事人财务用户管理营销管理指标库标签库经营分析用户画像数据湖及应用平台分阶段规划运维保障体系安全保障体系标准规范体系保障体系数据运营中心数据共享开放平台 数据汇聚平台 存储计算平台 数据处理平台数据共享交换离线数据同步实时数据同步数据补录共享监测共享审计权鉴发布订阅认证注册数据源业务系统互联网数据外部数据物联网数据HR系统OAERP主数据渠道系
14、统三方OMS财务系统Hadoop关系数据库MPP内存数据库图数据库对象数据库时序数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度 数据分析平台统计分析多维分析即席查询机器学习数据挖掘数据治理平台数据质量管理元数据管理数据标准管理数据模型管理数据生命周期管理数据安全管理主数据管理AI中心数据资源中心指标服务标签服务数据产品服务知识图谱服务可信计算服务数据沙箱服务多方安全计算服务数据检索服务文件共享服务库表共享服务接口共享服务共享服务引擎共享服务管理共享服务保障文本识别影像识别语义解析图像识别语音识别数据服务中心数据需求管理应用集成运营可视化数据资源目录管理租户管理统一用户/权限数据
15、统一门户数据产品管理数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价12345678实时分析9101112业务赋能管理驾驶舱客户营销资金管理财务分析产能预测风险审计用户分析绩效考核监管报送13平台管理实时数据区汇聚区临时库ODS库基础区主题区分析区应用集市区实时数据存储实时分析处理实时指标计算当事人财务用户管理营销管理指标库标签库经营分析用户画像二阶段：夯实三阶段：完善一阶段：打基础四阶段：运营事业部数据资源池集团数据资源池实时区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库集团数据健康数据药品数据中药数据省医药数据基础区当事人内部机构产品合约采购生产销售库存
16、营销地理区域财务运输事件计划项目主题区用户管理营销管理运营管理风险管理财务管理集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用分析区指标库标签库关系图谱事业部实时区事业部汇聚区临时库ODS库事业部基础区事业部主题区事业部分析区事业部应用集市区123456123456数据湖及应用平台数据架构（统一标准，构建集团和四大事业部数据湖的六大数据区）（1）数据源（2）采集（3）汇聚（6）共享服务（4）治理（5）分析（7）数据应用标签服务API实时服务API数据库共享文件共享数据共享服务API共享离线采集实时采集消息CDCAPI.文件数据库接口补录填报.实时数据源物联感知数据实时营销数据物流数据离线数据源业务系统HR系统OAERP主数据渠道系统三方OMS财务系统外部数据互联网数据数据来源数据采集平台指标服务API关系图谱服务API数据检索服务API数据安全服务API数据应用管理驾驶舱客户营销资金管理财务分析产能预测风险审计指挥调度绩效考核监管报送用户分析集团数据湖与事业部四大数据湖之间定位及关系探讨事业部数据资源池集团数据资源池实时区实时数据存储实时分析处理实时指标计算汇聚区临时库
