文档详情

艾瑞咨询:2022年中国数据中台行业研究报告-2022.11

博****1
实名认证
店铺
PDF
1.93MB
约48页
文档ID:575746254
艾瑞咨询:2022年中国数据中台行业研究报告-2022.11_第1页
1/48

中国数据中台行业研究报告©2022.11 iResearch Inc. 2©2022.11 iResearch Inc. 摘要来源:艾瑞咨询研究院自主研究绘制云原生是当下最为确定的技术趋势,存算分离、微服务、ServerLess等核心技术要素驱动数据中台走向云原生数智融合理念将AI算法模型植入数据治理,高质量数据反哺AI开发能力,让数据和AI开发高效互通泛中台化趋势明显,业务场景需求的解决方案/产品趋于“中台化”,以数据中台为基础的中台体系不断丰富狭义来看,数据中台是一套实现数据资产化和服务复用的工具;广义来看,数据中台是一套运用数据推动企业数字化转型升级的机制和方法论数据中台始于业务数据的沉淀积累,用于数据的收集、整合、分析及应用,循环往复,形成生态闭环当前数据中台的行业集中度仍保持较低水平,行业的活跃参与者大致分为平台生态厂商、解决方案厂商和独立中台厂商三类,行业格局由竞争转向竞合,以协同生态为核心,集众所长,将成熟的技术方案与行业服务经验结合,协同拓展应用解决方案的广度和深度,深耕于金融、泛零售、政务、制造、工业等多行业应用场景。

2021年数据中台市场规模达到96.9亿元在供给侧,行业的生态化合作趋势明显;在需求侧,企业对数据中台的关注点从中台本身转向了最终的数据变现能力行业集中度和成熟度持续上升,整体规模稳步增长,增速趋于平稳,预计将在2024年达到187.4亿元 3数据中台行业全景2数据中台产业实践3典型企业案例4数据中台概述1行业前景展望5 4©2022.11 iResearch Inc. 定义始于业务,用于业务,生态闭环,源源不止数据中台是一种数字化综合解决方案数据中台采集、计算、存储和处理海量数据,保证数据的标准统一和口径一致,建立全域级、可复用的数据存储能力中心和数据资产中心,组件化服务模块,提高数据共享和复用能力,灵活高效地解决前台的个性化需求狭义来看,数据中台是一套实现数据资产化和服务复用的工具;广义来看,数据中台是一套运用数据推动企业数字化转型升级的机制和方法论相较数据工厂时代,数据中台立于业务数据的积累沉淀,破于数据收集、整合、分析及应用的生态闭环。

数据中台始于业务,用于业务,循环往复的理念与数据价值时代下数据资产价值最大化的目标相契合来源:艾瑞咨询研究院自主研究及绘制数据中台核心架构数据采集数据库日志数据数据应用网页及埋点数据移动设备数据物联网数据存储计算事务性功能HDFSMPPSparkFlink数据治理架构规范管理数据治理机制元数据管理主数据管理数据分布数据模型数据标准数据资产资产目录即席查询查询鉴权管理数据服务API服务……分析型功能数据运营管理数据安全管理 5©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 驱动因素:宏观层数据量规模快速扩张,数字化进程加快,技术更新迭代新冠肺炎疫情加速推动了从个体、企业到政府全方位的社会数字化转型浪潮企业方面,疫情的出现为企业数字化转型按下了“ 加速键”,办公、交易等线上化运营方式为企业在特殊时期保持正常运转提供了支撑政府方面,政府的数字化应急能力和政务服务能力在疫情下不断“淬炼”,服务指数由全球第34位跃升至第9位,迈入全球领先行列据Gartner预测,2025 年全球将有309亿设备接入物联网物联网设备产生海量数据,对这些设备的运营、监控以及安全保障,离不开大数据技术的支撑,反过来也推动了大数据技术的进步。

云计算以及云计算环境下大数据技术的成熟,使构建一套大数据系统变为低门槛、快速启动的项目,且随着业务增长进行无缝的技术增长,只需为实际使用的计算和存储资源付费,大幅降低了使用门槛来源:wind,艾瑞咨询研究院整理及绘制来源:wind,艾瑞咨询研究员整理及绘制2005-2021年中国数据经济规模及全球占比22 32 49 64 83 92 99 101 114 3 5 10 16 27 31 36 39 45 12%15%19%25%33%34%36%39%39%200520082011201420172018201920202021国内生产总值(万亿元)中国数字经济规模(万亿元)中国数字经济规模占比(%)2015-2030年中国数据量规模及全球占比3124917523%24%28%29%201520202025e2030e中国年数据量(ZB)中国年数据量全球占比(%) 6©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 驱动因素:行业层大数据核心技术和产品受关注程度高,产业发展再升级大数据技术和应用成为国家基础性战略支撑,是打造数字经济新优势、加快数字社会建设步伐、提高数字政府建设水平的重要力量,因此大数据核心技术创新和产品升级受关注程度高,产业发展具备充足的空间和潜力。

随着5G、AI、物联网等技术的普及应用,数据应用场景被释放,数据源不断丰富,数据量快速攀升云原生技术使企业组织能在公共、私有和混合云等现代动态环境中构建和运行可扩展的应用程序,是继云计算之后,数据基础设施领域实现新增长的重要拐点在基础软件方面,数据中台、数据治理、数据安全等产品引领细分市场发展在应用软件方面,BI、可视化、图像分析等产品也备受关注从企业和行业应用来看,企业更加注重运用数据技术向精细化运营、信息化决策演进行业应用聚焦于软件和信息技术服务、互联网等领域来源:工信部,艾瑞咨询研究院整理及绘制来源:工信部,艾瑞咨询研究院整理及绘制2014-2021年软件和信息服务业收入增长情况2020-2021年月度互联网业务收入累计增长情况37026 42848 48232 55103 61909 72072 81586 94994 16%13%14%12%16%13%16%20142015201620172018201920202021软件业务收入(亿元)增速(%)29%29%28%24%26%26%25%25%23%22%21%5%2%5%15%14%15%14%14%13%13%13%1-2月1-3月1-4月1-5月1-6月1-7月1-8月1-9月1-10月1-11月1-12月2020年(%)2021年(%) 7©2022.11 iResearch Inc. 驱动因素:企业层搭建全栈式的数据功能集成平台,发挥数据资产价值企业的数字化进程不断加快。

企业内部和上下游之间的合作越来越依赖各类数据平台和数字化工具,但又形成新的痛点和症结一方面是缺少统一的业务系统集成途径,数据格式和协议多样化,导致数据难以传输和集成,另一方面是缺少与上下游企业分享数据和API服务的便捷途径此外,中国SaaS在疫情爆发后迎来了高光时刻,但企业系统运行在多云环境中,私有端大量业务系统与云端系统形成了错综复杂的关系,最终无法快速响应业务需求,阻碍业务创新企业需要打造一个统一的数据功能集成平台,形成统一的数据资产,提供统一的数据服务,简化开发,敏捷集成,实现业务系统协同和业务需求敏捷响应,真正实现“让数据资产发挥价值”来源:艾瑞咨询研究院自主研究整理及绘制数据功能的集成化数据功能集成化•业务系统集成途径不统一,重复开发现象严重,效率低下;•数据服务接口标准不统一,扩展能力差;•数据治理标准不统一,无法进行全域数据治理;•业务需求响应不及时,创新能力差,效率低•业务系统的集成结构和服务关系清晰;•数据服务接口标准统一,开发效率高;•数据治理标准一致,可做到全域数据全生命周期的治理;•业务系统协同,可实现敏捷开发统一的数据功能集成平台错综复杂的集成关系 8©2022.11 iResearch Inc. 价值核心价值:提升数据治理,改造业务流程,深化数据应用来源:艾瑞咨询研究院自主研究及绘制。

数据中台致力于解决原有数据关系及SOA架构解决企业“数据烟囱”问题,打通数据孤岛,通过完善数据标准体系、强化数据质量管控、统一管理元数据等方式加强数据治理,提升数据可用性,实现数据资产化数据中台在改造企业业务流程,打通数据壁垒的同时,也打通了企业部门间和事业群之间的业务壁垒,消除“部门墙”产生的冲突,极大提升了企业组织灵活性数据中台的设计定位是基于企业的顶层战略,集中体现了企业的顶层框架和业务逻辑数据中台对企业全域数据资产进行开发和应用,实现了统一可比可算,让数据具备了敏捷服务能力,满足了企业各层级对数据服务能力的智能和快速调用,让数据价值最大化赋能业务决策数据中台核心价值运用可共享复用的数据管理工具进行数据治理,形成统一的数据标准,并结合可视化工具,提升数据质量和数据管理效果提升数据质量加强数据与人工智能的融合,运用数据挖掘、AI预测等算法模型,加强数据的全生命周期治理,反哺AI算法模型,缩短数据开发周期丰富的算法模型通过构建通用的数据服用,并进行可视化处理,提升数据资产和服务的复用性,降低开发成本降低开发成本通过数据治理形成可用的数据资产,降低数据开发难度,覆盖数据加工处理的全应用场景,为上层应用提供服务。

构建企业数据资产通过数据安全模块对数据进行敏感级别设定,运用数据加密、脱敏等功能,提升企业的数据安全提升数据安全 9©2022.11 iResearch Inc. 争议搭台还是拆台,做厚还是做薄来源:艾瑞咨询研究院自主研究及绘制随着企业数字化转型的深入和数据技术的不断推陈出新,关于中台的争议也开始出现,比如中台该做厚还是做薄等艾瑞通过调研发现,这并非中台本身问题,而是不同群体的语境不同,关注点不同首先,数据和指标体系保持一致性的理念不会改变,且数字化程度越深,其价值越明显其次,复用的理念不会改变,“重复造轮子”在大多情况下都不被允许再次,数用一体、循环往复的理念不会改变而以上三点,正是数据中台的理念基础,因此中台并不过时在具体技术架构、产品形态和商业模式上,中台确需与时俱进首先,传统意义上的广义中台将企业管理、平台建设、数据治理、数据运营,形成了大一统的系统,门槛较高,且任何一环出现问题都难以真正成功。

随技术进步,原来需要人工去做的很多事项,都可以用工具和产品代替,在性能、功能、体验均不变情况下,中台变薄了其次,中台本身也需解耦与分层,数据汇聚、治理为一层,为数据管理层;数据服务与应用为一层,为数据应用层;安全、AI能力等,则纵跨两层数据中台的解耦与分层数据安全管理主数据管理元数据管理数据模型管理数据治理数据汇聚离线同步实时接入异构数据可视化配置数据标准管理数据管理分析型功能数据应用数据服务鉴权管理API服务查询即席查询事务性功能数据应用数据运营管理AI能力 10©2022.11 iResearch Inc. 延展技术与业务中台,支撑数据和应用服务技术中台抽象、封装和沉淀公共技术组件的可复用能力,以平台形式对外输出技术能力技术中台核心特点为云原生和微服务,通过API网关实现前端逻辑和后端支撑的安全分离和独立开发,有效应对高频海量业务访问场景技术中台的设计和实施只需具备技术属性,不能把业务逻辑封装进去,否则就偏离了技术中台能力抽象与标准输出的本质。

业务中台承载企业核心业务,实现企业级的业务能力复用和业务板块协同,提升创新效能业务中台的典型特点是涉及领域多,需求变化快,业务场景逻辑复杂在设计和实施中,需要划分业务领域边界,形成共享服务模块,建立分布式微服务体系,为前台应用提供可共享服用的业务能力此外,也有观点认为业务中台偏事务,数据中台偏分析,但在本报告中,数据中台的概念本身已包括事务性需求来源:艾瑞咨询研究院根据公开资料整理及绘制中台基本能力架构技术中台关键组件技术中台业务中台 1数据中台数据采集数据应用数据开发数据服务业务中台 2业务中台 3后台系统前台应用开发框架基础能力运行环境监控预警……用户权限公共服务能力流程设计模型服务……API网关服务鉴权服务路由……降级限流前端开发框架微服务开发框架开发框架负载均衡微服务治理流量控制配置管理配置中心服务发现……业务中台关键模块共享服务模块用户中心商品中心订单中心交易中心会员中心店铺中心评价中心支付中心物流中心搜索中心……资产中心 11数据中台行业全景2数据中台产业实践3典型企业案例4数据中台概述1行业前景展望5 12©2022.11 iResearch Inc. 市场规模行业增速有所放缓,市场规模稳步增长来源:艾瑞咨询研究院根据企业年报等公开资料、专家访谈及自有模型统计核算及绘制。

我国数字经济蓬勃发展,企业数字化转型步伐不断加快,数据技术加速创新融合应用2019年是数据中台元年,行业快速完成了萌芽期和成长期的积累,正在积极向成熟期过渡从供给侧看,生态化合作趋势明显,一方面云厂商在各垂直领域加速布局合作生态,配合生态伙伴的行业积淀和服务协同,使得个性化部署能力和实施效率显著提升;另一方面,部分独立厂商融合云厂商的底层平台能力,结合自身的技术创新和专项优势,发布多样化的数据中台产品在需求侧,企业对数据中台的关注点已从中台本身转向了最终的数据变现能力,对中台的理解不断加深,需求也更加明确此外,在疫情影响下,企业的价格敏感度上升,驱动厂商积极探索业务模式创新和服务升级数据中台行业的集中度和成熟度持续上升,整体规模稳步增长,增速趋于平稳2019-2024年中国数据中台的市场规模37.8 68.2 96.9 126.0 156.2 187.4 80%42%30%24%20%2019202020212022e2023e2024e数据中台市场规模(亿元)增长率(%) 13©2022.11 iResearch Inc. 产业图谱行业千帆竞发,厂商百花齐放,市场格局初显来源:公开资料,艾瑞咨询研究院整理及绘制。

近些年,在大数据、云原生、人工智能等技术发展和企业数字化转型加速的双重驱动下,数据中台在多场景快速落地从厂商类型来看,平台生态厂商、解决方案厂商、独立中台厂商以及自研厂商的边界开始模糊,数智服务的生态协同明显从市场格局来看,云服务厂商依托完备的服务体系和强生态能力,输出方法论、技术及工具,建立行业服务体系;产品厂商凭借创新技术能力和垂直行业深入的业务认知,取得行业积累,提升品牌竞争力数据中台产业链生态图谱数据中台厂商类型平台生态厂商解决方案厂商独立中台厂商自研厂商 14©2022.11 iResearch Inc. 行业格局从竞争到竞合,破壁搭桥提升数智服务,生态协同正当其时厂商发展逻辑正从竞争转向竞合,以协同生态为核心,集众所长,合力拓展协同应用解决方案的广度和深度平台生态厂商拥有内部率先落地中台战略,之后对外提供服务的先发优势,为行业发展输出方法论、技术和工具体系,商业模式以“提供云基础服务,生态伙伴实施交付”为主。

解决方案厂商积累了丰富的垂直行业服务经验和客户服务基础,可快速准确洞悉企业业务流程和痛点需求,但项目实施交付一般需要外部提供数据能力支持独立中台厂商核心技术团队普遍来自行业头部厂商,技术背景扎实,行业经验过硬,但品牌影响力相比平台生态厂商较弱来源:艾瑞咨询研究院自主研究及绘制数据中台厂商生态平台生态厂商独立中台厂商解决方案厂商协同生态用户提出中台建设需求提供云基础和咨询服务中台实施交付输出技术工具体系作为生态伙伴参与大型项目中小型项目独立提供中台建设用户数据能力(非必要)提出中台建设需求中台实施交付 15©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 行业挑战产品化和项目制之间的平衡问题来源:艾瑞咨询研究院根据公开资料自主研究及绘制来源:艾瑞咨询研究院根据公开资料自主研究及绘制在投融资领域,SaaS理念被众多投资人所青睐是否云上部署,是否订阅且高续约,是否较少二开,是判断SaaS属性的重要指标当前,中台以服务中大型客户为主客户的大数据量及对数据安全的特殊要求,导致较少采用全公有云的部署模式,大多仍采用类项目制(含一次性和私有订阅)的形式并且,中台尤其是业务中台部分,需要对行业和客户有较深理解,在指标体系搭建、数据建模等环节,常需甲乙方深度配合,如果专心做通用产品,则在投标等环节并不占优势。

不管是从业者,还是投资人,都要深入思考:如何在产品和商业模式上下功夫,以寻求降低边际成本和满足客户定制需求的平衡低零代码的技术理念,大核心研发+多个小行业交付的组织架构,积极发展生态合作伙伴,部分开源打造生态等,都是可供参考的选项低零代码核心能力1数据模型驱动通过页面操作,方便灵活的进行模型定义,包括定义模型字段、相关数据表的关联操作,以及模型规则和索引,实现低零代码平台的应用对数据模型的便捷操作234可扩展性一方面为前端和后端开发者提供熟悉的语言扩展,另一方面通过流程图等方式进行业务逻辑扩展,此外,通过API集成第三方系统和服务,为低零代码平台的应用提供灵活调用一体化能力提供本地开发调试、版本回退操作,有能力预留体验,且回退操作不影响发布态产物最后,低零代码平台支持自动构建发布上线、免运费以及配套监控的一站式能力可视化开发业务人员在可视化页面内通过托拉拽的方式形成前端语言交互,进而配置后端数据源和数据模型,定义并执行工作流,实质上通过可视化界面生成了可执行的计算机语言研发核心核心研发+多行业交付的组织架构零售金融地产政务制造……•控制开发成本,提升厂商ROI:通过研发核心抽象和沉淀产品研发能力,提升产品基础侧的稳定性、拓展性和适应性,在不改变产品原有基础功能的前提下,节约厂商研发成本。

同时,通过与企业IT部门、技术架构师等协调,与技术强的生态伙伴合作,制定科学合理的部署方案,以合理的投入获得最大回报 16数据中台行业全景2数据中台产业实践3典型企业案例4数据中台概述1行业前景展望5 17©2022.11 iResearch Inc. 需求诊断企业搭建数据中台应当按己所需,量力而为来源:艾瑞咨询研究院自主研究及绘制尽管随着技术进步,中台实施难度逐渐降低,但仍然不是所有企业都适合中台建设中台汇聚、打通的特点,要求企业已经或者在未来较短时间内会有大量的数据积累和应用如果企业体量不大,或者企业体量虽大但业务单数较少,在数据需求出现时,一对一地解决,可能性价比更高中台复用的特点,要求企业业务既不是完全一成不变的,也不是多业务线毫无关联的,如果企业业务非常稳定几乎无变化,则中台建设的必要性不足中台为整体解决方案的特点,要求企业有相应的配套机制,包括企业战略、组织架构等,如企业没有专门的数据部门仅靠业务部门,则企业数据建设容易陷入“公地悲剧”:每个业务部门都想使用数据,但谁都不愿贡献、建设、治理数据。

总之,中台是一个基础设施,其以底层的稳态保障上层的敏态,以公共的建设保障各业务线的使用,以当前的重投入保障未来的高产出凡企业不是此类规划的,均不完全适合,可以用中台里的某个模块如数仓、数据湖或主数据治理等先行解决当前问题企业是否引入中台的考量要素信息化程度数据积累业务特征经营模式配套机制组织结构企业信息化建设程度已达较高水平,业务经营由多个信息系统支撑,且壁垒明显企业已经或未来较短时间内有大量的业务数据积累,对数据资产价值转化需求高企业组织结构复杂程度高,跨部门协作障碍严重,已经显著影响到企业深度发展企业拥有比较完善的配套机制,包括企业战略、组织文化、数据部门成熟度等企业有多条产品线或横跨多业态,呈多元化经营,各部门需对各条线做分析决策企业业务既不是完全一成不变,也不会有颠覆性变化,且业务线之间有所关联 18©2022.11 iResearch Inc. 整体分析金字塔型分析,由“虚”入“实”,从宏观到微观来源:艾瑞咨询研究院根据公开资料自主研究及绘制。

中台项目实施难点,在于企业数字化过程中,虚实结合不到位传统咨询常Top-Down打法,但往往是Top(规划)有了,Down(落地)困难,常被称为“缺腿和脚”纯技术出身的中台厂商则需补充Top-Down 的方法论目前,大多中台厂商在为企业提供服务时,多采用从规划到组织再到工具的自上而下打法,这其中要么自建咨询团队,要么生态合作完成企业首先要明确自己的使命、愿景(To-Be)和当前状况(As-Is),然后确定企业接下来一段时间的北极星指标,然后将该指标拆分为子指标,然后确定数据管理和应用体系,最后才是中台具体路线一开始这些看上去较“虚”的动作,其实是中台能坚定、持续走下去必不可少的要素这种方式,其实可以看成是“金字塔原理”以及“OKR”在数字化转型中的具体应用所以,企业中台建设不仅是技术问题,更是管理问题,是企业的一把手工程中台建设的整体分析1使命愿景一般没有固定方法,主要看创始团队情怀,例如:以数智能力赋能业务,打造数据驱动的智能企业,让业务更加智慧2当前环境分析汇集和筛选业内主要分析方法:SWOT分析、价值链分析、波特五力分析、波士顿矩阵分析、K-R策略分析等3指标搭建北极星指标(SMART):S=具象化;M=可衡量性;A=可用性;R=相关性;T=期限明确。

4企业架构企业架构的全球标准TOGAF:划分企业的四个关键领域;定义企业业务战略和组织;记录数据资产结构及数据管理资源5具体实施 19©2022.11 iResearch Inc. 核心方法论OneData+OneService+OneID头 部 的 平 台 生 态 厂 商 在 内 部 落 地 中 台 战 略 , 获 得 检 验 后 对 外 输 出 成 熟 的 中 台 建 设 核 心 方 法 论 :OneData+OneService+OneID OneData的本质是构建从算法定义、数据研发到数据服务的统一指标和算法,数据采集、汇聚、清洗、加工、调动一次完成,避免因不同的业务场景造成不同部门对数据的重复建设,让数据成为可复用、可深挖价值的资产,而非拖垮业务推进的隐性成本OneService的本质是数据即服务传统数仓从不同的系统调用数据时受数据库权限限制,需要开发人员定制不同的访问接口,出错时还难以追溯影响到哪些应用和报表。

数据中台通过平台化的工具/接口,一方面为应用开发屏蔽了底层数据存储,提供数据查询统一接口,另一方面提高了数据应用的管理效率,建立了从报表到应用的清晰链路,提升数据开发的友好性来源:阿里云,艾瑞咨询研究院整理及绘制OneData+ OneService+OneID实现路径OneIDOneModelOneServiceOneDataOneModel 统一数据构建管理规范定义建模,构建数据资产:Ø 细化指标定位;Ø 设计派生指标;Ø 基于数据分层OneService 统一数据服务复用而非复制数据:Ø 屏蔽复杂的主题式数据服务;Ø 一般查询+OLAP+服务;Ø 屏蔽多源异构的数据服务OneID 统一数据萃取实体识别连接和标签生产:Ø ID自动化识别和连接;Ø 行为元素和行为规则;Ø 标签生产效率Ø 大数据、微服务、高可用等技术开发门槛降低;Ø 研发和运维耗时降低,研发和运维效率提升成本Ø 烟囱式开发形成的数据孤岛被连接,人力成本降低;Ø 数据能力复用率提升,资源成本降低质量Ø 数据统一治理能力加强,数据稳定性得到有力保障;Ø 数据一致性、及时性和准确性得到提升 20©2022.11 iResearch Inc. 厂商选型人、活儿、事儿三方面考量来源:艾瑞咨询研究院根据公开资料自主研究及绘制。

企业在中台选型时,应从人、活儿、事儿三方面进行考量人”是指:企业应该考虑中台厂商的团队背景,如是否有大数据背景,是否有行业背景活儿”是指:目前中台厂商的产品中,哪些是开源的,哪些是自研的;如果是开源的,是否是主流且代表未来趋势的技术路线;如果是自研的,核心优势在哪,与开源产品的语法、体验等是否一致,会不会为自己带来相应IT人才的缺乏;各个模块之间是松耦合还是紧耦合;产品的使用门槛是否较低,体验是否良好事儿”是指:中台厂商在历史上,是否有本行业的成功案例,取得了哪些显著成果;中台厂商与本企业的其他系统(如ERP、CRM等)是否有成功的对接先例,从而在实施中可以提高效率并降低风险中台选型考量要素厂商产品案例主要考量中台厂商用于部署中台的产品和技术,例如开源比例如何,开源产品在开源社区的活跃程度如何,未来的技术趋势怎么样;对于商业或自研产品,使用门槛怎么样,较开源产品的亮点或优势体现在哪些方面,未来的可替代性和依赖度如何等等「活儿」主要考量中台厂商的团队背景,包括团队技术背景、行业背景、服务能力、响应时效等方面「人」主要考量中台厂商在中台解决方案方面已有的标杆案例,重点关注包括ERP、CRM等业务数据,内外部设备数据的对接等。

「事儿」 21©2022.11 iResearch Inc. 数据管理机制数据中台建设伊始来源:公开资料,艾瑞咨询研究院整理及绘制企业要从烟囱式的多系统多平台向数据中台转变,建立统一的数据采集、处理、计算及服务平台,形成统一的数据管理机制是基础,实现路径大致可分为五步:1)明确建设思路企业应基于自身业务现状,梳理核心业务域,做到研发、制造、物流、营销、财务、人力等各业务模块的全覆盖,设计数据标准管理、数据质量管理、质量评价等相关管理流程,并责任到人2)数据资产管理支持资产归属、资产分类、资产概览、资产搜索、统计分析、血缘分析等功能,并提供多格式文件的导入/出3)数据标准管理支持信息架构管理、模板管理、逻辑建模、维度建模、模型物化、标准校验以及发布同步等功能4)元数据管理元数据管理是打破数据孤岛,实现数据统一治理的基础,需包含元数据采集、解析、管理、元模型管理、支持元数据展示和搜索等功能5)数据质量管理。

需具备质量规则,规则校验、质量监控、规则关联以及发布评价等功能数据管理机制建设路径建设思路资产管理标准管理–结合企业业务现状设计数据管理组织,编制数据管理流程,明确数据责任人–构建统一的数据模型、数据分布和数据流转方案–基于业务现状调研,规划设计核心业务域,覆盖研发、营销、制造、财务、等不同业务模块–支持按照企业组织架构灵活设置多级数据资产的归属部门,提供部门与数据集的归属关系,并以此进行管理–支持数据资产按照一定的分类进行管理,可通过树型结构、网状结构进行管理,快速检索定位数据资产–支持按业务域、业务主题、业务对象、对象关系、业务流程、业务属性的原则建设数据标准–支持按照业务域模板化管理数据标准–支持ER模型管理、逆向数据库、主外键管理、分区设计、临时表管理元数据管理–将企业中技术元模型、业务元模型、数据元模型、管理元模型等进行提炼管理,让企业各部门能够轻松、准确找到所需的数据–具备元数据管理能力,查看和维护数据字典详细信息、具备数据血缘分析、影响力分析等功能质量管理–支持预定义常见数据质量规则及自定义数据质量规则–支持数据资产全目录扫描、支持质量告警及标识功能–支持创建数据质量监控指标,设定相关监控阈值,支持数据质量告警–模型开发关联数据标准和质量规则 22©2022.11 iResearch Inc. 底座技术选型先进性和适应性应综合考虑来源:公开资料,艾瑞咨询研究院整理及绘制。

中台技术,即广义的大数据技术(中台≈数字化咨询+大数据技术+数据治理与管理+数据运营)由于大量行业客户,并不能自己玩转大数据,所以一般需要“端到端”的产品或服务供应商提供端到端服务,一般有几种路径:(1)公有云厂商提供从IaaS到SaaS的全套的云、数、智服务,一般云资源为自家提供,而数和智既可以选择云厂商自有组件,也可以选择开源组件2)部分厂商如Cloudera对不同的大数据组件进行组合,形成CDH和CDP套件3)解决方案厂商,基于客户需求和自身理解,利用开源技术,进行自由组合和二次开发4)独立中台厂商,基于开源+自研的方式,打造全链条产品和服务5)一些新型HATP厂商,通过对流数据的进一步融合,以更轻巧的方式满足中小企业的中台需求在技术组件选择时,一般遵循以下原则:(1)确有明显优势及取代趋势时,选择有优势的(如Flink相对于Storm)2)不同技术各有利弊时,根据自身业务、历史架构、供应商擅长综合选择3)供应商有深度自研的,除体验外,还应考虑后期服务的持续性以及自身IT人才的供给常用的大数据技术大数据技术集群调度数据接入ØKubernetesØYarnØmesosØ日志数据Ø埋点数据Ø数据库数据Ø网页数据Ø物联网数据Ø消息队列数据存储Ø分布式文件存储ØNoSQL数据库ETL任务调度数据检索ØelasticsearchØluceneØsolr数据分析(OLAP)实时分析:ØDruidØClickhouseØDoris离线分析:ØHiveØImpalaØKylinØPrestoØSpark SQL数据计算实时计算:ØStormØSpark streamingØFlink离线计算:ØMapReduceØSpark 23©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 数据治理元数据管理&主数据管理来源:公开资料,艾瑞咨询研究院整理及绘制。

来源:公开资料,艾瑞咨询研究院整理及绘制元数据中心技术架构基于统一API访问的元数据服务层数据血缘消息处理血缘清理数据字典连接管理器DDB接口Oracle接口MySQL接口Nest接口结构化数据源非结构化数据源数据特征标签管理访问热度数据搜索MySQLOracleDDBKafkaRedisNeo4j主数据管理实施方法论元数据管理用于确保全局指标的业务口径一致,主要包含数据字典(描述数据的结构信息)、数据血缘(用于影响分析和故障溯源)以及数据特征(描述数据的属性信息)常用产品分为:1)开源产品Metacat(擅长管理数据字典)和Atlas(擅长管理数据血缘);2)商业产品Cloudera Navigator元数据中心对外统一提供API访问接口,数据传输、数据地图、数据服务等其他的子系统都可以通过API接口获取元数据主数据管理用于提供完整、一致、准确、相应的主数据来源,以支撑跨部门、跨系统数据融合应用,四大关键功能为生命周期管理(编写主数据间的层次、关系及分组)、质量管理(建立主数据质量基线和评估改进程度)、协调功能(主数据管理系统与业务系统集成)以及分析功能主要解决方案厂商包括IBM、Informatica、Stibo Systems、SAP等国外大厂,产品成熟,但产品灵活性和扩展性不足,同时国内厂商如用友、浪潮等也在此领域崛起,不断灵活创新,更贴近企业需求。

1. 制定编码标准与业务部门共同确定主数据范围,制定编码标准,包括确定分类规范、编码结构、数据粒度、属性描述等2. 编制编码内容编制符合数据标准的主数据代码库,包括数据检查、数据排重、数据编码、数据加载、数据监控策略等3. 建设管理平台建设主数据管理平台,实现主数据申请、主数据管理和主数据发布功能、数据清洗4. 建立组织管理流程建立标准管理和编码管理的运维组织架构以及考核流程,不断完善主数据管理流程和实现知识转移实施方法论 24©2022.11 iResearch Inc. 数据资产管理数据模型管理搭建数据中台的本质是构建企业公共数据层,把原先分散、烟囱式的数仓合并成可共享、可复用的数据中台,具体实施路径可概括为:1)接管ODS层,控制数据源头ODS是业务数据进入数据中台的第一站,是所有数据加工的源头,应从业务系统的源数据库权限入手;2)划分主题域和拆分业务维度,构建总线矩阵主题域是业务过程的抽象集合,划分时尽量涵盖所有业务需求,保持稳定性和扩展性;3)构建一致性维度。

构建全局一致性的维表,确保维表只存一份维度属性分为两种情况:公共维度属性与特有维度属性拆成两个维表,产出时间相差较大的维度属性拆分成单独的维表;4)整合事实表事实表整合的核心是统计粒度必须保持一致,不同统计粒度的数据不能出现在同一个事实表中;5)模型设计完成后,进入模型开发数据全生命周期管理,ODS和DWD尽可能保留所有历史数据,DWS/ADS/DM需设置生命周期,可保留7-30天不等;6)应用迁移进行数据比对,确保数据一致来源:艾瑞咨询研究院根据公开资料整理及绘制数据模型分层架构ADS数据应用层ADS层DWD公共明细层CDM层DWS公共汇总层DIM公共维表ODS层ODS操作数据层公共数据层(包括公共明细层 DWD和公共汇总层 DWS),负责数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标,主要采用维度建模思路进行设计CDMODS操作数据层,结构上与源系统的增量或者全量数据基本保持一致,相当于数据准备区,承担基础数据的记录及历史变化原始数据经缓冲层(STG)加载,进入数仓的业务数据层,这一层采用范式建模,基本保持与数据源完全一致的结构,对于变化的数据,使用数据拉链加工与存储。

ADS应用数据层,偏向应用的数据加工,也称数据集市层,这一层设计相对灵活,贴近应用,设计思想以维度建模为主 25©2022.11 iResearch Inc. 数据服务数据和应用之间的“桥梁”数据服务是数据中台的能力出口,是数据应用的重要支撑企业通过中台能力封装关键数据实体,将数据采集、数据传输、数据存储、数据处理、数据交换等数据的各种形态转化为可高效复用的软件服务数据中台提供的数据服务可大致分为三类:1)主题式数据服务基于元数据规范定义和建模,构建主题逻辑表,屏蔽复杂物理表,提供业务视角下的查询;2)统一且多样化数据服务一站式提供一般查询、 OLAP 分析、接口服务等查询和应用服务,便于数据跟踪管理;3)跨源数据服务统一数据接入层,屏蔽多种异构数据源的读写差异,减少数据访问和应用成本数据服务通过平台化、配置化的方式,快速生成API服务,减少定制化开发对不同工种的依赖,同时屏蔽底层数据的技术细节,让数据消费者无需关心数据的源头问题,实现“数据即服务”。

从实施路径来看,构建数据服务模块应具备以下五大核心能力,才能担起数据与应用之间的“桥梁”角色:来源:艾瑞咨询研究院根据公开资料研究及绘制数据服务管理核心能力构建需求申请工单化出于数据安全以及业务需求考虑,接口配置权限需管控在具备数据开发能力的业务开发角色中,相应的接口需求申请流程、已有接口申请token复用流程,形成需求提交、工单流转、处理反馈的数据服务需求流程闭环接口管理线上化所有接口视为数据资产进行线上管理,接口的需求元数据、技术元数据、业务元数据等信息完善,可查看接口文档、性能指标、流量控制、一键上下线处理API接口服务配置化数据服务管理最核心的能力,包含指标类接口、用户或商品维度的接口、模型输出类接口、个性化推荐类接口几大类通过将接口生产流程产品化,业务人员实现数据和算法开发的自助配置上线数据血缘可视化将平台内接口与模型、字段的血缘关系及接口与下游应用的关系数据,与模型加工产品的血缘链路进行关联补充,形成从源端数据到API以及下游产品应用的全链路数据血缘,通过可视化方式展示性能监控实时化具备接口实时流量、超时率、平均耗时、日均请求次数、错误率等服务指标,做到异常报警通知,、短信、邮件多渠道,出现问题时第一时间跟进修复。

26©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 数据保障数据运营+数据安全数据资产运营的目标是将数据转化为可阅读、易理解、好使用、有价值的数据资产, 通过有序的正向循环不断挖掘并提升数据资产价值,构建数据中台运营机制平台,即数据地图,主要包含:数据量指标、标签调用次数、表访问热度、表分区信息等,构建数据资产目录,帮助数据开发、数据分析师、数据产品运营快速发现数据,准确理解数据含义数据中台的数据安全模块侧重于企业内部数据的安全管理,聚焦于大数据平台的安全管理技术手段,贯穿数据产生、存储、传输、使用、共享和销毁的全生命周期,各个环节基于不同的数据类型和使用者,存在不同的数据安全风险常用的技术手段包括:1)统一安全认证和权限管理;2)对不同权限的数据资源进行隔离;3)数据加密;4)数据脱敏来源:艾瑞咨询研究院根据公开资料研究及绘制来源:艾瑞咨询研究院根据公开资料研究及绘制数据资产运营的能力实现有价值好使用易理解可阅读在数据资产使用过程中完整记录调用信息、效果信息、反馈信息等所有反映数据价值的信息,评估数据标签的重要程度数据资产运营平台让业务人员直接了解数据信息,自主配置,解决难以描述数据需求的问题,缩短数据服务配置生成过程,降低数据使用试错成本。

面向业务人员组织数据资产的标签化,包含标签名、标签描述、标签逻辑、取值类型等基础元标签信息,帮助业务人员深入了解和使用数据通过构建数据资产展示地图,让业务人员可通过直接操作平台界面的方式获取数据资产信息,使数据信息读取不再局限于技术人员数据安全体系架构通用体系安全体系数仓平台数据表校验权限管理申请定期扫描字段元数据平台更新数据标签管理员维护用户请求合法性验证身份验证录入权限 27©2022.11 iResearch Inc. 行业场景(1/4)金融行业:从数据驱动到运营优化来源:公开资料,艾瑞咨询研究院整理及绘制金融行业走在我国数字化转型前列,信息化建设起步早、投入大,因此行业的信息化水平和数据的标准化程度较高,针对金融行业的数字化服务生态比较健全但是,传统的数字化解决方案也造成金融机构普遍拥有多个信息部门和数据中心,随着业务多元发展和海量业务数据积累,大量的系统、功能和应用被反复构建数据资源、计算资源和人力资源都存在巨大浪费,信息孤岛现象严重,内外部数据难以统筹规划,数据能力无法应对高并发、强一致、横向扩展的业务场景。

数据化转型领先的金融机构已经开始搭建数据中台,并产生很多优秀案例数据中台采集和整合金融机构内多个数据库数据,建立跨越式数据模型,打破数据壁垒,统一加工、处理、输出标准数据,建立数据资产,减少业务数据重复建设,彻底改变金融行业数据交付模式,形成专业的用户画像,精准营销,辅助运营决策,提升客户运营效率数据中台在金融行业的应用场景ODS实时接入离线同步异构数据异构网络可视化配置数据采集……实时开发离线开发同步套件调度管理文件合并数据开发智能运维开发套件……交易系统数据线上交易数据资产管理数据风险管理数据CRM系统数据……DW营销域运营域客户域投顾域管理域……ADS客户画像营销行为投资行为TDM客户标签产品标签投资标签数据资产…………数据服务API服务鉴权管理查询即席查询……数据运营管理数据安全管理 28©2022.11 iResearch Inc. 行业场景(2/4)泛零售行业:从统计分析到决策支撑来源:公开资料,艾瑞咨询研究院整理及绘制。

泛零售行业从以商家运营为主导的“旧”零售时代,推演至今日的以用户为中心,数据驱动、体验为王、口碑传播、迭代思维的零售4.0时代,零售企业为了解全域运营数据、进行场景细分和精细化运营、紧随消费需求和消费链路的变化趋势,内部搭建了各类业务系统,基本满足日常统计分析但是,割裂的业务系统也形成了大量碎片化的数据,无法做到跨域、跨渠道的统一查询和分析此外,数据口径不一致使得数据使用者对数据解读无法形成统一理解,数据体系不完善导致无法对多维数据进行闭环分析,数据指导和辅助运营的能力不能充分发挥数据中台打通泛零售企业内部各系统数据,标准化数据模型和研发标准,实现从数据采集、汇聚、清洗、调度到数据质量管理的全流程工具化和平台化,帮助零售企业打通采购系统、业务系统、运营系统和销售系统的数据,进行数字化的供应链管理;运用数字媒介开展业务和触点布局,跨业务域、跨渠道、跨产品、跨区域的综合分析,精细化运营;通过埋点、实时数据,线上线下异构数据采集,全量及全维度的捕获用户行为,提供决策支撑,优化用户体验数据中台在泛零售行业的应用场景客服数据APP数据行为数据社交数据客户数据电商数据数据资产化机器学习自然语言处理深度引擎云计算知识图谱智能BI资产业务化Ø 用户全生命周期管理Ø 用户精细化运营Ø 会员差异化服务Ø 智能营销推荐Ø ……数智价值 29©2022.11 iResearch Inc. 行业场景(3/4)政务行业:从决策支撑到数据驱动来源:公开资料,艾瑞咨询研究院整理及绘制。

政务数字化是数字政府建设的重要目标,随着数据、算法、服务不断创新和迭代,行业正从政务电子化、政府上网和政务服务一体化的“互联网+政务服务”阶段,向基于大数据的“数据化、平台化”阶段推进,初步形成统一的云平台和公共数据服务平台,政务服务能力显著改善但随着国内经济持续健康发展和社会全面进步,各界对政务服务也提出了更高的要求如何实现政府数据资源跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务,如何实现“政府内部协作”、“政府企业协同”、“政府服务公众”的数据资源良性循环,如何提升政务协同过程中协同办公效率都成为新的挑战数据中台提供统一的数据采、建、管、用能力,能实现政务领域数据的统一管理,构建数据资源的应用创新模式,建设重心从技术转向运营管理,通过数据流带动组织和业务流程重组,提升政府服务协同能力通过数据资源的标准化和统一输出,提供政务数据精准化供给和智能化服务,支撑政府部门精准决策数据中台在政务行业的应用场景……业务办理系统数据决策分析共享交换平台数据处理平台政务建设政务服务平台关键要素:数据是核心、协同是关键、服务是重点……效能分析能力企业服务能力政务协同能力数据开放能力政务能力政务评价能力关键能力:政务协同跨域办公、效能分析、全链路分析……健康码政务服务网企业服务政务服务APP政务应用小程序核心应用:数字城市、应急管理、公共安全、生态环境效率监控统计服务政务智能政务知识库政务运营政务运营政务协同政务大数据的运营本质是数据价值产生、传递和创新的过程政务应用全局监控审计管理指标管理业务监控…… 30©2022.11 iResearch Inc. 行业场景(4/4)工业行业:万物互联时代大有开发空间来源:公开资料,艾瑞咨询研究院整理及绘制。

面对激烈的市场竞争环境和如火如荼的产业数字化进程,工业企业需要通过缩短交付周期、产品多样化、产品及服务创新来提升竞争力,数字化转型为工业企业大规模、多样化、全链路的运营生产和快速创新提供了可能企业陆续构建了ERP、SCM、SRM、WMS、PLM、MES等工业管理系统,支撑特定领域的业务应用,结果数据孤岛随之而来,收效甚微万物互联时代到来,工业设备普遍具备智能互联属性,围绕设备、系统、人形成了巨量数据此时,企业的竞争本质演变为数据支撑业务敏捷性,以应对市场的飞速变化企业前台对数据应用的快速迭代创新、快速响应用户需求与后台系统臃肿迟滞之间的矛盾成为亟待解决的问题工业企业不具备互联网公司天然的信息化基因,并且产品研产供销服流程复杂,业务对象与功能解耦难度大,沉淀深厚无法快速推倒重建,加上工控软件数据开放度不足,专业程度高,因此,工业领域的数据中台推进仍有较大的开发空间数据中台在工业行业的应用场景采集终端工业平板、手持终端等控制系统PLC/DCS、组态软件、WMS等工厂运营平台设计、排程、调度、物流、品质、服务等数据采集平台工业行业解决方案Ø成本分析Ø生产分析Ø品质分析Ø智能诊断智能分析预测模拟数据分析应用平台信息载体RFID、IC/ID、条形码/二维码等接口协议TCP/IP、串口/USB、Gateway等Ø生产预测Ø产能模拟Ø质量SPCØ设备预测维护实时预警Ø库存预警Ø产能预警Ø设备预警Ø质量预警可视化监控Ø库存看板Ø产量看板Ø设备监控Ø品质监控全程追溯Ø生产追溯Ø品质追溯Ø单品追溯Ø异常检测 31数据中台行业全景2数据中台产业实践3典型企业案例4数据中台概述1行业前景展望5 32©2022.11 iResearch Inc. StartDT全方位、端到端的“平台+应用”数据产品和服务能力StartDT 集团为企业提供统一开放、中立安全、自主可控的数据云平台,同时又提供丰富易用的效率工具和专业的全局服务。

StartDT 已完成初期项目积累,和“产品+服务”的模式复制,已进入“平台化”生态增长阶段StartDT 的不断发展得益于数据产品体系的完善和服务能力的升级:1)产品体系架构中:资源层中立,基础层安全可控,平台层统一易用,应用层集分析决策于一体,共同支撑数据生产力,最大化数据价值;2)StartDT 通过资源整合和优势互补,放大数据分析和应用的优势,全面推进产品化、标准化和规模化,同时丰富自身SaaS产品经验,降低数字化转型产品和方案的价格门槛,满足不同规模企业的需求,提升服务能力来源:StartDT 集团,艾瑞咨询研究院整理及绘制StartDT 的数据产品体系架构应用层平台层DataKun数据存算引擎基础模块基础层资源层智能运维数据安全管控分布式存储系统多引擎计算系统DataBlack数据安全引擎自动化敏感数据发现数据水印与防泄露分级分类与数据脱敏数据加密与防拷贝效率组件客户数据平台广告三方检测平台分析云数据云风险识别与监控告警“零信任”架构与ABAC权限管理工具层DataMaleon 数据可视化DataBI 智能BI分析广告监测企业全域增长分析平台增长分析产品A/B实验平台A/B测试增长智能运营平台智能运营应用模型市场智能推荐UJM复购预测…………端到端服务咨询实施运维运营培训与认证云底座工作空间管理多租户管理项目管理账号权限管理数据集成数据研发数据运维数据治理SimbaMetric指标工厂SimbaTag标签工厂SimbaML算法工厂SimbaAPI服务工厂DataSimba数据云平台 33©2022.11 iResearch Inc. StartDT“数据云+分析云”的数据中台实施方案StartDT 形成了“数据云+分析云”的数据中台实施方案,其中数据云平台DataSimba拥有“跨平台、云原生、自主可控、数据安全”四大技术内核:1)分级多域、跨云跨平台部署,提升协作与管控效率;2)微服务、容器化、存算分离、CI/CD等云原生特性,降低存算成本,提升研发效率;3)数据存算引擎 DataKun,实现自主可控;4)数据安全引擎DataBlack,实现数据全生命周期安全管控。

此外,StartDT 的分析云提供DataMaleon(数据可视化平台)、企业数据门户、客户数据平台等数据产品,以及数据应用模型市场,集合智能推荐、复购预测、用户旅程分析、KOC分析等自研及第三方应用,一站式实现数据分析和智能决策 StartDT 已服务1500余家企业客户,覆盖泛零售、制造、金融、政府公共事业等领域来源:StartDT 集团,艾瑞咨询研究院整理及绘制StartDT产品服务领域与应用案例地产政府泛零售金融制造某服装集团•沉淀消费者数据资产,更加全面、准确、有针对性地了解消费者和服务消费者•用数据赋能商品智能运营,升级数据决策,推动集团整体业务的数智化转型•构建会员标签体系,实现精准营销,成交金额、成交占比等持续提升,广告投放ROI提升10倍以上,首铺准确率提高79%,销量预测准确率达70%,调补货实现100%自动化,拉补效率提升60%;库存售罄率提升10%需求成效某制造企业•围绕营销、计划和财务场景建设运营数据平台底座,统一指标,辅助分析和决策•打通商务、计划、采购、仓储、生产、物流和结算主题全流程数据预警分析体系•建设OTC节点指标体系,拉通商务、计划、采购、仓储、生产、物流和结算7个领域,37个OTC流程节点,构建大运营领域的结果指标体系,形成决策层分析框架•建设OTC数据应用门户,包括PC端OTC数据门户和大屏端OTC门户需求成效某证券公司•多类型数据源统一API开放和管理,API调用、错误监控、告警通知等,提高使用率•搭建数据平台满足数据存储、交换、加工和下发,统一数据服务的对外口径和安全性•基于DataSimba能力,统一数据采集、治理和整合,通过DataSimba的API工厂(SimbaAPI)能力和运维能力,实现可视化、向导模式数据开发及统一监控和管理•支持多类型数据库生成API,提供审批授权、调用限流等多种方式保障数据资产安全需求成效 34©2022.11 iResearch Inc. 神州信息产品+解决方案+服务+云平台,赋能行业数字化转型神州信息基于大数据、人工智能、区块链等数字技术融合应用,以“科技+数据+场景”的创新模式,在场景金融、金融信创、数据智能以及云原生数字化安全底座等领域深耕。

从IT到DT,神州信息已服务上千家大型企业用户,在金融、政务、农业、泛零售、制造等行业有着深刻洞察和丰富的实践经验在数据开发和治理领域,神州信息打造的“六合上甲”一体化数据开发平台,提供对数据采集、开发、治理、分享、可视化等复杂组合场景的应用能力和全生命周期研发能力,持续不断沉淀数据价值,形成了一套高效可靠的数据资产体系,在业务、数据、资产与服务之间形成良性循环的生态闭环来源:神州信息,艾瑞咨询研究院整理及绘制神州信息“六合上甲”产品架构与“三态”设计模式数据应用支持数据中台安全数据集成数据中台运维数据访问与服务数据业务支持数据资产管理与运营存储与计算数据采集数据开发人工智能开发态数据调研数据建模数据集成数据开发数据质量数据资产数据服务数据需求数据标准数据安全元数据测试态生产态发布中心运维中心发布中心运维中心发布包导出导入 35©2022.11 iResearch Inc. 神州信息沉淀数据开发、治理与分析能力,深化行业场景应用神州信息在数据开发、治理、分析等方面具备一定的技术领先和产品创新。

基于数据编织(Data Fabric)的一体化数据开发平台“六合上甲”,融入DataOps(数据开发即治理)理念,缩短数据开发周期,实现数据模型的智能生成和挖掘模型上模型算子的高度集成,显著提升数据开发效率另一方面,神州信息开发了拥有自主知识产权的数据建模工具,对标国外领先产品,并额外提供多人协作、版本管理等功能,在信创领域应用广泛此外,神州信息沉淀数据分析等方面的行业经验,转化为行业业务框架,深化行业场景应用来源:神州信息,艾瑞咨询研究院整理及绘制神州信息数据开发治理的能力矩阵与典型模式融合DataOps理念实现数据中台的数据一体化研发,缩短数据开发周期,让数据在短时间和低成本条件下发挥价值场景式开发和全流程需求管理按需选取最佳的数据治理模式以及相应的开发,从接到业务需求开始,整个流程就已纳入管理范畴支持本地化+云部署的方式充分考虑行业数据安全与隐私需求,提供本地化/云部署的灵活部署方式融合数据中台交付的方法论数据中台的关键是服务共享和复用,“六合上甲”的数据开发治理功能都和这一理念相匹配全域数据汇聚“六合上甲”提供了异构数据源之间稳定快速的同步集成能力,实现全域数据的可触达和可交换。

全流程质量监控根据业务需要,配置相应的数据质量检核点,提供任务中断/报表数据展示的灵活配置丰富的计算引擎支持数据中台的数据库适配业界主流大数据存储计算引擎,有丰富的国内合作伙伴和落地案例灵活稳定的数据API提供丰富的数据API接口,统一输出数据服务,保障数据的高效共享和使用数据开发治理的能力矩阵数据开发治理的典型模式之一概要设计需求分析详细设计系统开发系统测试系统上线制定数据标准;收集元数据、数据质量与安全、数据生命周期、行业级数据架构和模型等各方面需求制定数据标准落地方案;完成元数据、数据质量与安全、数据备份与恢复等方面规划;完成数据架构和模型评审核验数据标准,评估数据字典与数据标准差异;设计数据安全策略;根据数据字典实施元数据建设数据标准变更;使用元数据;数据质量检测规则开发;数据安全监控和实施;数据备份和恢复开发检验是否符合数据标准;使用元数据;数据安全应用-样本数据脱敏及回收检验是否符合数据标准;新增和变更元数据;部署数据质量检核规则,跟踪数据质量;检查数据备份恢复 36©2022.11 iResearch Inc. 明略科技企业级数据分析和智能平台,挖掘营销、销售等场景价值明略科技依托16年的数据智能技术沉淀,重点围绕营销、销售和服务等场景,下设秒针系统、明智中台和明智工作三大数据智能产品线。

其中,明略科技的营销数据中台是以消费者服务体验为中心的企业用户数据管理平台,帮助企业实现数据整合、数据治理、数据建模和数据服务化,为企业提供基于消费者消费周期的数据管理及分析,结合商务场景和需求的落地应用,提升企业整体运营及营销效率此外,明略科技基于场景经验积累,帮助企业建立一套完整的闭环学习系统,实现数据的连接打通,基于企业对数据的管理需求和企业运营及管理等商业化应用方向给予定制化支持来源:明略科技,艾瑞咨询研究院整理及绘制明略科技智能营销系统技术架构消费者洞察人群分发服务人群交并差创建人群拆包分析推荐位管理内容推荐人群包管理产品推荐模型管理场景推荐策略管理资讯推荐A/B test服务推荐数据分析营销旅程私域触达(MA)数据治理数据采集数据接入与管理数据底座数据质量校验数据接入数据脱敏ETL 工具包监控服务中心主数据管理数据采集小程序H5人群应用人群/属性对外API服务行为偏好标签指标类标签AIPL模型标签构建RFM模型自定义特征标签算法打分模型洞察分析人群画像人群对比分析标签分析报告标签树管理数据模型用户标识标识映射表Super ID表属性渠道属性表归一属性表交易多渠道互动表订单交易表互动仪表盘数据资产概览SmartBI用户行为分析事件分析漏斗分析留存分析路径分析归因分析数据洞察及研究用户识别解析属性与人群管理人群画像与分析数据搜索与模型算法推荐系统智能营销内容管理营销自动化智能营销活动表现分析触点管理控频管理动态内容实时营销营销日历渠道管理公域触达订单管理人群管理订单报告Serving对接QPS管理后台管理 37©2022.11 iResearch Inc. 明略科技业务场景驱动的智慧营销中台解决方案明略科技深耕营销场景数字化领域,在零售、快销、汽车、金融和科技等行业积累了丰富的大型企业服务经验,形成智慧营销中台解决方案,实现营销全流程的自动化个性交互,激活私域数据价值,多渠道精准触达以提升ROI,增强营销体验连续性,赋能客户全生命周期运营。

明略科技依托完整的产品矩阵,提供一站式平台服务,在高质量流量识别、冷热线索运营、私域客户深度运营等多个业务场景为企业用户提供了快速、敏捷、安全的数字化解决方案,让数据科学家能够敏捷建模,让营销人员能够利用可视化工具洞察用户行为,提升营销ROI来源:明略科技,艾瑞咨询研究院整理及绘制明略科技智慧营销数据中台典型案例与核心能力高质量流量识别,降低线索获取成本冷热线索运营,提升线索转化率私域客户深度运营场景整合用户数据识别用户状态流量线索私域基于业务场景驱动用户数据细分流量质量识别线索成交概率动态预测打分私域客户需求深度挖掘营销自动化配合A/BTest沉淀最优转化策略一方数据+三方数据,串联广告投放数据、用户全生命周期转化漏斗数据和ROI数据,端到端全链路效果跟踪,针对问题和断点进行针对性优化,筛选核心关注人群,对接媒体平台进行内容触达,提升投放效果电商场景下,通过一方数据+三方数据,制定流量出价智能策略,帮助品牌实时优化广告投放出价,从而优化最终ROI和流量表现,为某快消品牌客户在电商平台上实现ROI提升8%-15%对于已搭建好CDP、MA、SCRM等平台的客户,按照用户核心特征进行多实体关联画像+特征挖掘,识别潜在需求以匹配对应触达策略,提升转化效率,为某零售品牌提升曝光转化率334%和客单价42%。

核心能力”快速为客户搭建平台,直接进行运营并处理数据;敏捷灵活的业务组件能够按照客户需求进行定制,支持不同的场景应用;安全是数据治理,确保信息干净、准确、安全快速、敏捷、安全”一站式工作平台便于管理模型生命周期,开发工程师能够更敏捷的建模,业务人员能够灵活运用可视化工具提升数据分析能力,提升ROI数据的灵活应用产品能够对不同数据源的信息进行筛选管理,确保合理性和准确性身份识别功能产品化“汽车场景” 38©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 网易数帆涵盖企业数据业务全链路的数据中台解决方案网易数帆是网易旗下ToB企业服务品牌,定位于数字化转型技术与服务提供商,依托网易20余年互联网技术积累,推出三大数字生产力模型,帮助企业发展软件生产力、数据生产力、智慧生产力,沉淀企业数字资产,为企业数字化转型提质增效目前已服务工商银行、兴业银行、华泰证券、中信证券、格力、OPPO、华能、一汽解放等300余家行业头部企业网易数帆数据中台解决方案基于数据生产力模型,可为企业提供数据开发、数据治理、数据服务的中台全链路技术与服务来源:网易数帆,艾瑞咨询研究院整理及绘制。

来源:网易数帆,艾瑞咨询研究院整理及绘制数据中台+BI”天然协同,中台价值最大化1提升取数用数效率2提高数据质量3高效降低企业成本1数据中台与BI天然协同2数据开发与治理一体化3基于DataOps流水式发布的数据开发底座4面向数据中台的领先模型设计度量标准网易数帆方法论:数据生产力模型模型解读• 模型定义• 模型内核• 模型四要素充分运用大数据相关技术,协助行业客户沉淀数据资产,探索业务场景中的数据应用价值,并通过数据运营发挥长效价值方案价值4保障企业数据安全方案优势DataOps、DataFusion、DataProduct数据技术、数据资产、数据应用、数据运营行业聚焦:金融 | 制造 | 医药 | 流通 | 国企典型客户:泰康资产 | 东北证券 | 九州通 | 德邦快递 | 浙江电信数据中台数据服务数据治理数据开发数据标准指标系统数据资产地图数据质量中心数据治理360数据门户可视化报表决策引擎数据大屏大数据基础平台NDH数据产品API发布服务编排服务权限服务监控数据传输离线开发实时开发任务运维中心模型设计中心安全中心数据后台数据前台数据文化人才培养大数据基础平台数据中台湖仓一体实时计算开发治理一体化数据指标数据标准数据模型数据质量数据地图数据安全智能风控监管报送客户画像数据可视化运营平台智能决策数据技术数据应用数据资产DataOps数据运营DataProductDataFusion数据场景 39©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 微品致远以数智产品和最佳方案实践为核心,推动行业数智化进程微品致远是产业数字化和智能化领域的领先创新企业,以大数据、人工智能、5G等先进技术为基础,提供包含数据中台、AI模型、数智实景可视化、5G边缘计算等在内的全链路产品,涵盖数据适配接入、多源数据采集、数据存储、数据计算、数据治理、数据共享、数据应用、AI算法、数据门户、数据驾驶舱等全服务环节。

微品致远以多业务互补的“组合拳”战略,沉淀数智产品的数据分析与智能决策能力,赋能行业解决方案,在泛园区、民航、电信运营商、大型国有企业、政务等领域有着深刻的行业洞察与服务经验,并形成营销赋能、管理赋能以及生产赋能三大场景,助力企业数字化转型升级来源:微品致远,艾瑞咨询研究院整理及绘制来源:微品致远,艾瑞咨询研究院整理及绘制微品致远产品与场景矩阵微品致远数据中台技术架构数据智能产品体系数据中台IOC可视化平台IoT平台5G MEC营销赋能管理赋能生产赋能场景方案• 智能化门店营销系统• 大数据业务推荐平台• 数字园区• 数字空管• 数字农业• 合成生物智慧实验室• IMOS系统• 数字交通• 数字教育数据源内部数据业务系统数据交换平台其他系统外部数据互联网物联网数据平台数据服务数据应用基础数据平台贴源层整合层汇总层大数据平台分布式数据库分布式文件系统大数据分析计算数据结构化转换数据集市数据接口数据切分统计报表数据挖掘高管驾驶仓数据管理平台数据传输数据调度与处理数据生命周期管理数据质量检核元数据管理 40©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 微品致远轻量级、低代码、可落地的数据中台解决方案微品致远数据中台体系的核心建设包含数据技术平台、数据开发、数据仓库、数据模型、数据资产和数据产品应用六个部分。

通过搭建数据基座、统一数据标准和标签体系,建立数据资产体系,提升数据质量,进而基于不同行业的痛点需求,创建相应的数据智能应用和算法模型,解决实际问题微品致远拥有丰富的行业案例,沉淀了成熟的中台建设方法论和实施路径,以项目咨询为先行,结合不同企业客户的数字化进程和阶段性数据应用需求,提供轻量级、低代码、可落地的数据中台解决方案,大大降低客户成本和使用门槛,帮助客户快速构建数字化运行能力,最大限度地发挥数据价值来源:微品致远,艾瑞咨询研究院整理及绘制来源:微品致远,艾瑞咨询研究院整理及绘制微品致远数据中台的实施路径调研分析包含机会评估和企业评估两项服务明确业务需求,业务建模,与现有系统匹配设计设计数据仓库和数据应用技术体系架构,完成详细设计部署微品一站式中台安装或升级开发数据仓库ETL设计、模型开发和单元测试,数据产品开发集成和定制应用开发整体环境测试联调上线数据治理运营管理元数据、数据质量、内部使用,规划基于中台的智能应用微品致远数据中台的案例实践某机场数据中台某政府机构数据治理某城发集团数据中台某大型园区数据中台100+系统共享服务,日数据吞吐100万+数据、业务、AI中台共建,数据治理提质增效BI节省业绩分析人员,年节省费用100万与业务中台、业务系统互通,数据融合汇聚展示• 将某机场100+个上游系统和近10个本场系统的数据,向广播、航显、贵宾、飞友辅助协同等20 个系统提供数据共享服务,有效解决了全场数据一致性的问题,建设了机场全域数据资产和统一的数据总线。

• 对50个子公司,12个管理条线和3大业务板块进行数据治理,形成主数据标准,输出主数据1000余条促进人均效能提升,为某城发集团营收冲击300亿元做好了数据支撑• 实现10余套应用系统、5套视频监控系统的数据融合汇聚,开发数据指标1800余项,数据报表120余张,实现业务报表BI的自动化输出和可视化呈现,节约统计、分析等人力成本超过200万,同时大大提升了管理效率、决策效果• 通过数据中台服务系统的建设,全面梳理数据资产,构建全域的数据中心,解决IT信息化建设中5大业务系统和业务中台之间的数据互联互通问题,为集团化园区机构提供了分权分域的经营驾驶舱、安全管理驾驶舱,实现一屏可管全局 41数据中台行业全景2数据中台产业实践3典型企业案例4数据中台概述1行业前景展望5 42©2022.11 iResearch Inc. 趋势一:云原生技术与业务共同驱动数据中台走向云原生来源: 艾瑞咨询研究院自主研究及绘制。

云原生是当下最为确定的技术趋势,主要由Docker+Kubernetes以及Spring Cloud等主流技术共同驱动但当下,很多所谓“云原生”,仍是对传统单体架构的改造,并不能真正实现资源的完全弹性扩展存算分离,各自动态扩缩容,将有助于平衡成本与效率,是大数据低成本落地的重要保障,也将是真正意义云原生的显著特征未来,数据中台的数据存储量剧增,且作业高吞吐高并发,对存算分离的要求明显高于其他应用领域,数据中台中的重要组件,如MPP及智能湖仓等,都将遵循存算分离架构此外,企业客户对数据安全的关注度不断提升,对数据安全、合规数据合作技术等需求增强,云原生天然具备的对象体系、容器化编排、CI/CD(持续集成持续交付)、跨云多域数据治理等技术属性,都驱动数据中台走向云原生云原生核心技术要素计算资源与存储空间的配置互不制约,可根据业务场景需求个性化配比,独立、按需扩容,持续保障存算资源的高效使用,并有效进行安全隔离存算分离纵向拆分单体应用为单独组件或模块,做到单独需求分析、设计、开发、打包、部署,实现微服务间松耦合和交互协同微服务Docker+Kubernetes的资源调度和编排: 作为IaaS层组件, Docker借助Kubernetes提供PaaS层服务能力,创建销毁和调度速度比虚拟机快容器云持续集成交付,促进开发和运维高效协作,实现软件和IT基础设施对接、自动部署、动态扩容、自动迁移等DevOps为去中心化的微服务提供中心化的管控节点,将控制流和消息流分离,进行流量拦截、安全、日志、限流等管控和治理服务网格屏蔽底层IT基础设施和资源,开发者无需关注开发框架、开发环境、多层架构等,通过组装代码片段(业务需求)实现复杂的业务流程ServerLess任何对开发环境和软件的修改,都先写好Yaml文件纳入配置管理以做集中管理,以便出错后可以快速追溯和定位,方便进行回滚操作声明式API当业务需求发生变化后,无需在原环境中重新部署或修改配置,而是基于镜像容器,重新生成容器实例,同时销毁旧的容器实例。

不可变基础设施 43©2022.11 iResearch Inc. ©2022.11 iResearch Inc. 趋势二:数智融合数据和智能相互作用来源: 艾瑞咨询研究院自主研究及绘制来源: 艾瑞咨询研究院自主研究及绘制所谓数智融合,即构筑数据治理和AI开发的统一底座,让数据和人工智能相互作用一方面, Data for AI :通过对元数据统一管理,解决传统数据分析与AI模型之间的“数据搬家”问题,打通数据分析与AI模型引擎,实现基于一份数据多模分析,提升数据驱动决策的准确性和可信性,让数据工程师灵活进行模型和特征训练,实现数据与AI开发高效无缝互通另一方面,通过AI for Data :将人工智能算法模型的能力植入到数据治理,通过机器学习自动发现数据管理的规则,在数据模型管理、元数据管理、主数据管理、数据安全等多场景中广泛应用因此,人工智能对于提升数据治理的智能化水平具有关键作用,也是降低数据治理门槛的重要突破方向数智融合统一底座企业用户的数智化诉求算法及机器学习工程师花费大量时间在特征处理和数据预处理上,期望数据和AI作业开发编排能够有机结合,进行作业流的编排衔接和数据版本控制AI开发者在开发和优化机器学习模型时,必须配备数据工程师准备优质数据,期望直接从数据湖中筛选制程参数,灵活快速挑选适合的字段进行建模。

数据分析平台用户在实现数据实时可现的基础上,希望数据价值由AI加持,进入业务问题提前感知、自动预警风险和智能决策阶段,以应对日益复杂的内外部环境,提升企业韧性期望AI和数据高速流转,低时延实时推理,支持分析的时效性数据治理与AI开发高效协同数据治理•数据集成•数据质量•数据建模•数据安全•访问控制•数据关联•数据关系•数据洞察AI开发数据工程师以简单、熟悉的工具/语言在全域数据内使用预置AI算法,打通大数据和AI,降低数据和模型开发成本,缩短开发周期 44©2022.11 iResearch Inc. 趋势三:泛中台化以数据中台为基础的中台产品体系多点开花来源: 公开资料,艾瑞咨询研究院整理及绘制5G时代的到来,人工智能、物联网等创新技术不断发展随着多设备接入、多系统数据融合互联互通,形成新的数据孤岛,对企业的智能用数发起新的挑战值此时刻,数据中台的理念体系逐渐完善,相关产品、规范以及标准也趋向统一,落地经验也得到积累,大数据项目纷纷与数据中台结合,数据中台开始从概念热点向项目起点转变。

随着企业对中台认知的增强,业务场景需求的解决方案/产品也趋于“中台化”: IoT中台、算法中台、研发中台、组织中台、AI中台等中台产品体系不断丰富以IoT中台为例,是相对数据中台层次更上的抽象和高级,包含了采集平台、通信中台和数据中台的全部特性,支持除数据分析、处理、交易等抽象业务服务外的采集和通信能力,相对数据中台更加贴合企业业务场景,为未来智慧城市建设提供更加深入和精细化的基础能力以IoT中台为代表的架构示例端设备操作系统支持多种协议标准与安全机制,确保平台所链接的机器能够稳定和安全的数据传输智能仪表制造设备监控门禁电梯锅炉热泵水泵环境参数流量计配电表HMI智能工业设备3/4G DPU物联网关物联中台处理大量、实时物联数据,提供决策,指挥机器工作流计算云存储微服务数据库设备管理均衡负载应用托管应用平台业务平台工具平台实时应用开放平台应用方案产销协同设备管理故障预测OEE分析 45行业咨询投资研究市 场 进 入竞 争 策 略IPO行业顾问募投商业尽职调查投后战略咨询为企业提供市场进入机会扫描,可行性分析及路径规划为企业提供竞争策略制定,帮助企业构建长期竞争壁垒为企业提供上市招股书编撰及相关工作流程中的行业顾问服务为企业提供融资、上市中的募投报告撰写及咨询服务为投资机构提供拟投标的所在行业的基本面研究、标的项目的机会收益风险等方面的深度调查为投资机构提供投后项目的跟踪评估,包括盈利能力、风险情况、行业竞对表现、未来战略等方向。

协助投资机构为投后项目公司的长期经营增长提供咨询服务艾瑞新经济产业研究解决方案 46艾瑞咨询是中国新经济与产业数字化洞察研究咨询服务领域的领导品牌,为客户提供专业的行业分析、数据洞察、市场研究、战略咨询及数字化解决方案,助力客户提升认知水平、盈利能力和综合竞争力自2002年成立至今,累计发布超过3000份行业研究报告,在互联网、新经济领域的研究覆盖能力处于行业领先水平如今,艾瑞咨询一直致力于通过科技与数据手段,并结合外部数据、客户反馈数据、内部运营数据等全域数据的收集与分析,提升客户的商业决策效率并通过系统的数字产业、产业数据化研究及全面的供应商选择,帮助客户制定数字化战略以及落地数字化解决方案,提升客户运营效率未来,艾瑞咨询将持续深耕商业决策服务领域,致力于成为解决商业决策问题的顶级服务机构400 - 026 - 2099ask@联系我们 Contact Us企 业 微 信微 信 公 众 号关于艾瑞 47法律声明版权声明本报告为艾瑞咨询制作,其版权归属艾瑞咨询,没有经过艾瑞咨询的书面许可,任何组织和个人不得以任何形式复制、传播或输出中华人民共和国境外任何未经授权使用本报告的相关商业行为都将违反《中华人民共和国著作权法》和其他法律法规以及有关国际公约的规定。

免责条款本报告中行业数据及相关市场预测主要为公司研究员采用桌面研究、行业访谈、市场调查及其他研究方法,部分文字和数据采集于公开信息,并且结合艾瑞监测产品数据,通过艾瑞统计预测模型估算获得;企业数据主要为访谈获得,艾瑞咨询对该等信息的准确性、完整性或可靠性作尽最大努力的追求,但不作任何保证在任何情况下,本报告中的信息或所表述的观点均不构成任何建议本报告中发布的调研数据采用样本调研方法,其数据结果受到样本的影响由于调研方法及样本的限制,调查资料收集范围的限制,该数据仅代表调研时间和人群的基本状况,仅服务于当前的调研目的,为市场和客户提供基本参考受研究方法和数据获取资源的限制,本报告只提供给用户作为市场参考资料,本公司对该报告的数据和观点不承担法律责任。

下载提示
相似文档
正为您匹配相似的精品文档