《数据中台服务化平台建设方案》由会员分享，可在线阅读，更多相关《数据中台服务化平台建设方案（29页珍藏版）》请在金锄头文库上搜索。
1、数据中台 数据服务平台建设方案 背景和挑战 平台的演进 应用场景 总结和思考 背景和挑战 人群洞察案例 北京高消费人群 北京地区Surface关联人群北京地区MacBook人群 北京地区普通人群 采 集 应 用 & 展 示 数据接入 数据规范化入库 数据监控 数据集成 数据ETL 统计分析 模型训练 离线预测 数据加工 数据API化 加工能力API化 模型预测API化 数据服务 整体流程 服务治理 数据权限 高性能 服务元数据 多数据源 超大数据量 安全审计 实时数据 核心挑战 平台演进 高性能、高吞吐 Codis、Protobuf、Thrift 高额存储成本 Hbase、Aerospike
2、高延迟 Quota、限流 超大数据量 RPC协议 序列化 协议编码 网络传输 客户端 注册中心（ZK） 网关服务端 RPC协议 序列化 协议编码 网络传输 RPC协议 序列化 协议编码 网络传输 服务发现 负载均衡 监控统计 服务暴露 处理程序 线程池 高性能RPC框架 数据安全？ 限流熔断？ 用户权限？ 用户体系？ 数据服务平台化 RPC协议 序列化 协议编码 网络传输 客户端 注册中心（Consul） 网关 RPC协议 序列化 协议编码 网络传输 RPC协议 序列化 协议编码 网络传输 服务发现服务暴露 负载均衡 监控统计 处理程序 线程池 鉴权/审计 API管理平台 安全IAM 用户平台
3、 日志平台 管理运营平台后台系统 数据治理平台数据开发平台 报表平台AI平台 服务端 数据种类越来越多 异构数据源、不同数据类型、加工数据、模型特征数据 开发流程冗长 开发门槛、联调测试、文档、跨多团队 准备好开发数据库 数据库连接代码 开发API逻辑 开发API监控生成Docker 等非业务逻辑镜像 部署 服务镜像 开发数据 入库代码 数据入库 日常运维 新的问题 NIFI模板 配置数据入库 Web配置API数据服务自助配置化 数据服务中心 准备好开发数据库 数据库连接代码 开发API逻辑 开发API监控生成Docker 等非业务逻辑镜像 部署 服务镜像 开发数据 入库代码 数据入库 日常运
4、维 业务开发 1.有哪些API可以用 2.如何快速接入使用 3.如何快速调试 运维 1.表要迁移了，找谁 2.配置要更新回滚了 3.故障了，如何降级 数据研发 1.如何快速上线API 2.如何快速集成 3.如何聚焦数据开发 财务 这个季度数据服务 的报表情况？ 新的诉求 1 3 2 4 高性能RPC 框架 数据服务平 台化 数据服务生 态系统 数据服务 高效开发 演进总结 应用场景 个像用户画像 对用户线上和线下行为进行大数据分析，构建全面、精准、多 维的用户画像体系，为APP开发者提供丰富的用户画像数据以 及实时的场景识别能力，帮助APP开发者全方位了解用户。 识别换机用户 分析新注册用户
5、的兴趣偏好 推荐 个性化内容 筛选精准的 目标用户 稳定性 监控报警、自动降级 延迟 毫秒级 数据源 多数据源 日访问量 数十亿+ 数据量 数十亿+ 用户画像服务 商业选址 智慧旅游 门店零售 人口空间规划服务 洞察人、时间与空间三者的内在联系，全方位勾勒 人群画像，动态展示人群分布与变化，为科学规划 与商业决策提供全面客观的数据支持。 城市规划 VS 传统开发方式 开发成本（门槛高、技术栈广） 上线周期（开发自测1-2周） 部署运维（独立部署运维&监控） 管理运营（文档多&旧、人+统计） 数据服务平台 开发成本（页面配置，培训后自助） 上线周期（0.5 pd） 部署运维（无） 管理运营（管理
6、平台+元数据中心） 效能对比 总结思考 个推数据中台 模型平台 数据集成 平台 （数据接入） 数据资产治理 （数据地图、数据质量、数据安全） 数据开发平台 （数据作业开发和管理） 数据能力共享 数据服务化平台 数据仓库 Hadoop +Spark +TF K8SGPHBase. 群体洞察平台 数据运营平台 可视化报表平台 数据网关平台 高质量 数据 解决 方案 平台 工具 高效 组织 方法论 个推数据中台 平台的演进贴合业务并赋能业务 平台的演进需要兼顾线上系统和线下管理 平台的演进最终是生态，需要协同共享 DATAINTELLIGENCE 个推融合多重技术和产业身份的新经济综合体 数据应用 提供多种大数据服务 增能诸多垂直领域 数据中台 对数据进行脱敏、筛选、清洗、整理， 并深度挖掘建模 数据沉淀 提供多种移动应用开发者服务 同时沉淀海量数据 数据智能“三步走” 消息推送用户画像应用统计一键认证 谢谢聆听！
