《大数据分析云技术架构解密》由会员分享，可在线阅读，更多相关《大数据分析云技术架构解密（31页珍藏版）》请在金锄头文库上搜索。
1、大数据分析云技术架构解密 从 分析产品家族 到 一体化分析平台,目录,Contents,分析云的云特性,分析云的分析特性,分析云的大数据特征,云,分析,大数据,传统技术架构为何在企业应用中难以推行 分析云产品架构如何破解,实践与思考,实践与思考,产品解密,传统大数据与分析系统架构-多产品分工协作,传统软件模式下的企业困扰,太多的软件,兼容性问题如何解决?,针对的不同数据容量,数据类型我应该选择哪种数据库?,未来数据量增加了,我要如何扩容?性能如何保障?,我现在的需求不多,初始化投资是不是太多了?,我没有专业的团队,未来谁能玩得转这个系统?,Web Client,Web server,Web A
2、pplication server,数据平台,系统资源库,系统管理,缓存服务,可视化服务,新报表服务,填报服务,ETL引擎,任务调度,数据访问服务,移动服务,大数据加速引擎,新报表设计器,ETL设计器,大数据存储服务,分析数据源,客户端工具,消息服务,网页端工具,可视化设计器,系统管理工具,数据准备,数据填报,数据上传工具,分析数据源,数据集,数据访问代理,分析云系统架构-一体化平台,分析云与传统模式对比,功能更多,价格更低,运维更简,目录,Contents,分析云的云特性,分析云的分析特性,分析云的大数据特征,云,分析,大数据,传统技术架构为何在企业应用中难以推行 分析云产品架构如何破解,实
3、践与思考,实践与思考,产品解密,分析云的云特性,Remote Access 远程访问,One to Many 多租户,Pay for Use 按需付费,Central Management 集中托管,APIs Integration API集成,云服务的定义,远程访问的核心要求：功能与数据,数据分析产品实现远程访问需要怎么改造？,用户本地数据如何同步到云端？,用户不愿上传云端的敏感数据如何进行处理？,Remote Access 远程访问,All in one一体化服务平台 满足分析项目的核心功能要求,Web Client,Web server,Web Application server,数据
4、平台,系统资源库,系统管理,缓存服务,可视化服务,新报表服务,填报服务,ETL引擎,任务调度,数据访问服务,移动服务,大数据加速引擎,新报表设计器,ETL设计器,大数据存储服务,分析数据源,客户端工具,消息服务,网页端工具,可视化设计器,系统管理工具,数据准备,数据填报,数据上传工具,分析数据源,数据集,数据访问代理,BI,ETL,DW,source,多种数据接入方式满足企业数据集成需求,平面文件上传,云端数据同步,实时数据集成,访问性能与数据安全,云环境下的技术挑战,数据集中化存储的带来的计算压力如何解决？,用户数据的安全如何保障？,如何高性能的处理数据更新和数据分析场景？,Central
5、Management 集中托管,多租户系统如何设计？,如何避免单个用户请求耗尽整个服务器资源？,不同用户数据之间如何进行隔离？,One to Many 多租户,分析云大数据加速引擎如何满足性能压力,高容错 - 用户数据3节点冗余存储,高可用 - 主节点毫秒级故障切换,高性能 - 高读写性能，低延迟,高扩展 - up to 1000节点,生态集成 - Impala / Spark / Hive,加速引擎 兼顾OLTP与OLAP的数据引擎,随机写性能与传统DB基本持平,满足OLTP的数据服务需求,批量读性能与大数据平台基本持平,满足OLAP的数据服务需求,深度优化,深度优化 基于Intel下一代硬
6、件,分析云的域模型满足多租户的数据安全需求,数据：企业用户数据相互隔离，互不影响，安全性高,计算：用户分级管理，各级间数据库隔离，级内计算资源共享,计费与集成,Pay for Use 按需付费,APIs Integration API集成,多种计费模式,订阅模式,按量付费,订阅周期,存储空间,计算用量,故事板数量,用户数量,与云生态的融合,已集成APIs,待集成APIs,目录,Contents,分析云的云特性,分析云的分析特性,分析云的大数据特征,云,分析,大数据,传统技术架构为何在企业应用中难以推行 分析云产品架构如何破解,实践与思考,实践与思考,产品解密,分析领域的趋势变化,Gartner
7、2017年商业智能和分析平台魔力象限报告,自助,智能,大数据,多年来，IT主导的分析报表平台市场转变为业务主导的自助分析已经过了转变点。企业在以业务用户为主导的平台上投入的增加，急剧改变着数据分析厂商的局面。,到2020年，非职业数据分析师的增加速度将是职业分析师的5倍。 到2018年，大多数自助式数据处理、分析产品将扩展为一站式分析平台，或者作为一部分功能集成到已有的分析平台。,到2021年，具有智能数据搜索分析功能的新型BI和分析平台的用户数量将是不具有智能数据搜索分析功能产品和平台的两倍，并且将创造两倍的商业价值。,到2020年，智能的、企业管理级的，基于Hadoop/Spark、基于搜
8、索和可视化的数据探索分析功能将作为新型BI和分析平台的组件融合到下一代数据探索分析产品中。,分析如何做到自助,数据操作,故事板,数据填报,权限管控,抽取、转换、加载数据，统一管理数据,补录、审批数据，分析覆盖所有业务,分析组织数据，讲述业务故事，发现业务痛点,按用户管控数据，降低运营风险,核心能力:用户自助准备数据,整合本地和企业数据,按需清洗整合数据,图形化拖拽操作,本地数据 关系型数据库 填报数据 BQ 8.2 UDH（Hadoop） 云应用（即将）,表连接（星型、雪花型） 数据追加、替换 新建计算字段 多级关系嵌套 按需分组,所见即所得 无需代码和脚本 易用易操作 培训式交付 需求配置为
9、主 高度产品化,故事板 可视化是手段而非结果,易操作,自定义,解释+探索,智能数据,企业业务数据分析师、IT人员能够自助使用个人和企业的数据，通过拖拽快速探索数据中隐藏的业务问题，并把业务故事传递给所需人员,拖拽、配置操作 所见即所得 可视化故事板融合一体 即学即会,按业务组织多源数据 内嵌多种图表 拖拽可视化布局 适配常见设备,解释“过去发生了什么”和“为什么发生” 探索“正在发生什么”和“未来将发生什么”,预警业务异常，降低风险 预置业务分析模板 自动优化业务模型,体验用友分析云,网址： 域： bqdemo 账号/密码：demo1/yonyou1,目录,Contents,分析云的云特性,分
10、析云的分析特性,分析云的大数据特征,云,分析,大数据,传统技术架构为何在企业应用中难以推行 分析云产品架构如何破解,实践与思考,实践与思考,产品解密,大数据加速引擎,大数据加速引擎的定位,分区与多备份,20140101,20150101,20160101,20170101,20180101,server1,server2,server3,HASH(id),利用分区技术使数据分布到更多更小的“数据块”中，“数据块”分布到不同节点。数据访问时将会有更多的节点参与计算。,内存+列式的数据存储模型,内存数据集,磁盘数据集,磁盘数据集,磁盘数据集,磁盘数据集,磁盘数据集,定期写入,内存,磁盘,存于内存中的行式数据存储，提供更高效的写入效率,存于磁盘中的列式数据存储，提供更高效的读取效率,P A G E 43,THANKS,
