《阿里数据中台设计与数据资产管理》由会员分享，可在线阅读，更多相关《阿里数据中台设计与数据资产管理（23页珍藏版）》请在金锄头文库上搜索。
1、阿里数据中台之数据中台顶层设计近来在读阿里数据中台的书，由于要在组内做分享,就多度了几遍。与阿里大数据实践之路配合,基本可以看到阿里建设数据中台的过程，和某些技术细节。做一件有价值的事情就是把自己觉得好的东西分享出来，那么开始内容()大数据的发展历程和价值摸索大数据的发展：文章开篇是一段作者建设数据中台过程的心路历程，下来就是老套路，简介了国内外大数据发展的历程与大数据的价值摸索，这里做简朴的简介。两个重要的节点需要说一下：oog公开了内部对于海量文献的解决技术、分布式文献系统、并行计算解决框架MapReduce、高效数据存储模型BiTable，这些促成了分布式系统基本架构dop。为各个大数据
2、组件的诞生打下基本。全球大数据从B上升到B,也是阿里大数据之路开端的一年。大数据的价值：大数据的价值书中重要从四个方面简介，在下面的四个方面都深刻的解析了大数据的实际应用和真是含义。语义层面：数据即所有信息的记录，例如顾客访问网站的信息的转化过程的行为属性；大是巨量的意思，可以隐身为数量、形式、含义的丰富,保障实现被高保真的记录与回放实现层面:大数据是一套数据解决技术活措施体系,实现具体以上特性的数据的存储、计算、共享、备份和容灾、保密等,保证数据解决的时效性和拓展性服务层面:大数据的数据技术变革引起的新型信息服务模式,例如从数据摸索出发,系统积极推送信息给顾客做决策、给及其优化参数、基于数据
3、的量变完毕数据的质变应用层面：大数据是数据服务组合生成的新场景、新体验、日益增长的数据量非但不会使信息获取效率减少、质量下降，反而会让每个人都能得到迅速的迭代，个性化的互联网服务。（2）阿里的大数据主张在数据提供服务的基本上,阿里对数据的规定是准、快、全、统、通,简朴的解释是原则统一,融会贯穿、资产化、服务化、闭环自优，这是阿里数据中台实现目的的核心。要实现上面的目的,如何做呢？图片展示了数据中台运营的过程，重要抽象成三个部分第一部分：OeDa致力于实现数据的原则与统一第二部分：nenity致力于实现实体的统一,让数据融通而非以孤岛存在，为精确的顾客画像提供基本第三部分:OeServic致力于
4、实现数据服务统一，让数据复用而非复制从两一种维度看一下数据中台赋能业务的全景图数据后台：计算数据后台同步具有离线计算、实时计算计算能力和在线分析能力从而可以让顾客今早的看见昨天及此前汇总及萃取的数据,精确无误的看到上一秒产生的数据、在线分析，查看海量的数据数据中台：云上数据中台、通过智能数据能力实现全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控,拥有多样的数据的分层数据中心。数据前台：数据前台的核心是通过数据的复用,为多种业务线提供数据高效的数据服务。版权声明:本文为SD博主文宇肃然的原创文章，遵循CC 4.0 YSA版权合同,转载请附上原文出处链接及本声明。原文链接
5、：一次性讲透阿里中台架构一、阿里业务中台架构图基本设施服务,即AAS层，提供硬件底层支持。基本服务层，即PAA层，涉及分布式服务框架、分布式数据库、分布式消息、分布式存储、分布式事务、实时监控服务等等。互联网业务中台,涉及各服务中心的抽象出来的多种业务能力，涉及交易中心、支付中心、营销中心、结算中心、顾客中心、账户中心等等。也涉及非业务类服务，如日记分析中心、配备中心、序列中心、基本中心。业务应用,通过调取业务中台,组装形成独立业务服务能力的业务应用。交易来源,就是前台顾客使用的各个端，如淘宝A、PC站等。二、业务中台化-产品形态阿里的电商生态,就是要根据对商业的理解，把某些基本逻辑梳理出来。
6、例如什么是业务?什么是业务身份？各个业务领域的边界是什么？每个领域提供的基本服务是什么？领域服务和领域服务之间的流程链接原则是什么？再在这些思想的指引下去建立业务平台化的实行原则和业务管控原则。电商业务中台由一系列:业务能力原则、运营机制、业务分析措施论，配备管理和执行系统以及运营服务团队构成的体系，提供各业务方可以迅速,低成本创新的能力。三、业务中台化-全局架构中台建设需要一种中心化控制单元,就是我们的运营平台。它重要由合同原则、能力地图、业务需求构造分解、全局业务身份、业务全景图、业务度量等构成。能让我们有一种地方纵观全局，把控细节。其中能力地图是一种最基本的设施，要能把电商生态里面的能力
7、都呈现出来，并在过程中不断的优化完善。就象我们目前出行离不开XX地图同样,此后所有的业务方需要做业务规划,业务创新,都可以到这儿来寻找需要的基本能力。四、业务中台化 -业务创新和智能化为了能将业务逻辑自身与实现逻辑分离,可以将业务逻辑下发给不同实现的执行系统,引入竞争，以便业务平台的改造升级，我们要将控制信息从业务平台中抽离到业务中台,以业务身份为主线来进行组织管理和呈现。并以生态角色的视角来重构信息架构。这样的变革对我们本来的系统架构提出了更高的规定。通过业务中台化，我们把所有业务的数据汇集沉淀。每个业务它是怎么出来的?出来之后做了哪些业务需求、业务活动?每个业务活动的效果是怎么样的?都可以
8、沉淀下来。五、阿里核心业务架构通过阿里云平台将技术中台进行部署，对集团内共享业务单元提供支撑,并最后对前台各业务线提供服务化能力输出。六、阿里数据中台架构阿里巴巴提出的数据中台模式正是为解决这些问题而生,并通过实践形成了统一全域数据体系，实现了计算存储合计过亿的成本减少、响应业务效率多倍提高、为业务迅速创新提供坚实保障。全域数据采集与引入:以需求为驱动，以数据多样性的全域思想为指引，采集与引入全业务、多终端、多形态的数据。原则规范数据架构与研发：统一基本层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标构造化规范化的方式实现指标口径统一。连接与深度萃取数据价值：形成以业务核心对象为
9、中心的连接和标签体系,深度萃取数据价值。统一数据资产管理:构建元数据中心，通过资产分析、应用、优化、运营四方面对看清数据资产、减少数据管理成本、追踪数据价值。统一主题式服务:通过构建服务元数据中心和数据服务查询引擎，面向业务统一数据出口与数据查询逻辑，屏蔽多数据源与多物理表。极大的丰富和完善了阿里巴巴大数据中心,OData、OnI、neevice渐趋成熟并成为上至EO、下至一线员工共识的措施论体系。七、阿里技术全栈全景图阿里技术全栈涉及：移动中台、业务中台、数据中台、基本中间件、基本设施、前台业务、后台业务。移动中台,涉及移动网关、开发套件&框架、消息推送、移动IM等等，提供了限流、负载、鉴权
10、、消息推送、开发框架等等,使得移动端应用开发效率更高。业务中台数据中台,将业务、数据抽象和沉淀形成服务能力，对前台提供调用。八、阿里技术平台底座在阿里集团内部，所有业务中台、前台,共享一种技术平台底座，将阿里近年技术沉淀的价值最大化,提供运营更稳定、架构更灵活的技术支撑。九、阿里中台组织架构阿里巴巴集团在近期的组织构造调节中,构成由“小前台，大中台”互为协同的创新管理模式。原阿里巴巴中国零售事业群总裁张建锋将肩负起“中台”的重要工作,负责共享、数据、搜索，以及闲鱼、淘宝头条等创新孵化业务。十、业务中台建设途径阿里对业务中台建设途径进行了总结提炼:1)决心变革公司内达到战略共识，一把手牵头,做总
11、体规划、分步实行，找准切入点,解决具体业务问题。2）成功试点通过度析调研，明确业务目的和范畴,完毕技术平台引入、中台建设措施论宣导,进行试点，梳理标杆，积累经验。3）持续融合总结出适合公司自身的理念和规范,优化组织、提高中台效率。十一、公司中台战略升级的个方面阿里建议公司实行中台战略的个升级：)战略升级通过中台建设，落地公司数字化战略。2）组织升级组织架构需要与中台架构相匹配，根据公司实际状况优化组织效率。）流程升级将公司既有流程进行梳理，优化及固化公司流程,提高公司运作效率。4)技术升级通过互联网技术,对公司基本技术设施进行升级，降本增效。十二、阿里中台的能力开放阿里基于阿里云、ET大脑、业
12、务数据双中台,将阿里0近年的技术能力向社会进行开放。十三、阿里业务中台建设措施论1）中台建设的基本合同就是要根据我们对商业的理解，把某些基本合同梳理出来。例如什么是业务？什么是业务身份?各个业务领域的边界是什么?每个领域提供的基本服务是什么?再在这些思想的指引下去建立业务平台化的实行原则和业务管控原则。2)中台的基本设施：中心化控制单元就是运营平台,它重要由合同原则、能力地图、业务需求构造分解、全局业务身份、业务全景图、业务度量等构成。能让我们有一种地方纵观全局，把控细节。阿里数据中台设计与数据资产管理袋鼠云大数据解决方案专家。专注于云计算、大数据、公司级技术架构（EA)等领域,在互联网、零售
13、、工业等行业有进一步的理解和丰富的从业经验,曾带领项目团队完毕中金易云、货币网、固德威等公司级大数据项目交付,擅长行业大数据解决方案的征询与落地。正文:正文公司的发展，往往随着着业务更多元化,也必然会增进更多的业务数据产生，也为公司实现业务数据化和数据业务化带来了更多的也许性，但现实是诸多公司仍然采用老式理念去建设大数据平台，导致不单单业务系统是一种个烟囱,大数据平台也是一种个垂直的数据中心,因此如何打通这些数据并将其按照一种统一的原则进行建设，以达到技术降本、应用提效、业务赋能的目的，是众多公司面临的问题。数据中台就是为解决这些问题而生。数据中台的内核涉及两方面：一种是应用数据的技术能力，另
14、一种是数据资产的管理。Part 一、数据中台设计数据中台的概念由阿里巴巴初次提出，它是一种承办技术，引领业务,构建规范定义的、全域可连接萃取的、智慧的数据解决平台,建设目的是为了高效满足前台数据分析和应用的需求。数据中台是涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多种层次的体系化建设措施。(一)数据中台建设措施论(二)数据中台建设内容1. 全域数据采集与引入 以需求为驱动，以数据多样性的全域思想为指引，采集与引入全业务(电商、零售、生产等）、多终端（P、5、P等）、多形态（自身业务系统、三方购买、互联网采集抓取）的数据。2. 原则规范数据架构与研发
15、 统一基本层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标构造化规范化的方式实现指标口径统一。3. 连接与深度萃取数据价值 形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。4. 统一数据资产管理 构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、减少数据管理成本、追踪数据价值。5. 统一主题式服务通过构建服务元数据中心和数据服务查询引擎，面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。(三）数据中台设计措施1.数据模型层次设计数据中台将数据分为操作数据层（DS)、公共维度模型层(CM）（其中公共维度模型层涉及明细数据层（DWD)和汇总数据层(DWS)、应用数据层(AD）。OD层:把来源于其她系统的数据几乎无解决地寄存在数据仓库中。重要功能： 数据同步：构造化数据增量或全量同步到数据计算平台; 构造化:非构造化(日记）构造化解决并存储到数据计算平台； 累积历史、清洗：根据数据业务需求及稽核和审计规定保存历史数据、数据清洗；CM层:寄存明细事实数据
