《通用数据中台体系架构》由会员分享，可在线阅读，更多相关《通用数据中台体系架构（5页珍藏版）》请在金锄头文库上搜索。
1、通用数据中台体系架构数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变 为一种服务能力，让数据更方便地被业务所使用。下图为数据中台总体架构图，数据中台是在底层存储计算平台与上层的数据应用之间的一整套 体系。数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使 用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治 理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系 保障数据中台可以长期健康、持续运转。一个通用的数据中台架构应该如何构建？应 用数握S全体慕 耿握运售as数抿中台离些
2、闾步L鶴线幵蛊L_r葫麗週度1鼻注开雄评城 离监揑吿警1. 数据中台总体架构图 数据汇聚数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自于业务系 统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生 业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据能 够方便地采集到数据中台进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据 库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。 数据开发通过数据汇聚模块汇聚到中台的数据，没有经过什么处理，基本是按照数据的原始状态堆砌在
3、 一起的，这样业务还是很难使用。数据开发是一整套数据加工以及加工过程管控的工具，有经 验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速把数据加工成对业务有 价值的形式，提供给业务使用。数据开发模块主要是面向开发、分析人员，提供离线、实时、算 法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具，方便使用，提升 效率。2. 数据资产体系有了数据汇聚、数据开发模块，中台已经具备传统数仓平台的基本能力，可以做数据的汇聚以 及各种数据开发， 就可以建立企业的数据资产体系。 之前说数据资产体系是中台的血肉， 开发、 管理、使用的都是数据。大数据时代，数据量大，增长快，业务对
4、数据的依赖也会越来越高，必 须考虑数据的一致性和可复用性， 垂直烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同，数据建设的内容也是不同的，但是建设方法可以相似， 数据要统一建设，笔者建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建 设。3. 数据资产管理通过数据资产体系建立起来的数据资产还是一套偏技术的数据体系，业务人员比较难理解。资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和 安全管控），数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期 等进行管理和展示，以一种更直观的方式展现企业
5、的数据资产，提升企业的数据意识。4. 数据服务体系前面利用数据汇聚、数据开发建设企业数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的，中台产品可以带有一些标准服务，但是很难满足企业的服务诉求，大部分服务还是需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务，而是提供快速的服 务生成能力以及服务的管控、鉴权、计量等功能。5. 运营体系和安全体系通过前面的数据汇聚、数据开发、数据资产、资产管理、数据服务，已经完成了整个数据中台的搭建和建设，也已经在业务中发挥一定的价值。运营体系和安全体系是数据中台得以健康、持续运转的基础，如果没有它们，数据中台很可能像个一般项目一样，一期搭建起平台、建设 部分数据、尝试一两个应用场景之后而止步，无法正常地持续运营，不能持续发挥数据应用价 值。这也就完全达不到建设数据中台的目标。
