《工业互联网大数据平台建设方案精品课件》由会员分享，可在线阅读，更多相关《工业互联网大数据平台建设方案精品课件（41页珍藏版）》请在金锄头文库上搜索。
1、工业互联网大数据平台建设方案,为什么有工业4.0？,工业4.0、中国制造2025,工信部长苗圩在讲到德国工业4.0与中国制造2025时，曾这样概括：如出一辙、异曲同工、殊途同归。因此，两者表述不同，但内涵基本一致,什么是大数据？,工业大数据分析及应用的三个阶段,大数据特征：量（Volume）、速度（Velocity）、多样性（Variety）、真实性（Veracity） 工业大数据特征：大数据特征可见性（Visibility）、价值（Value）,互联网大数据与工业大数据的对比分析,工业大数据待解决问题（3B）： 隐匿性（Below Surface）；碎片化（Broken）；低质性（Bad Q
2、uality）,工业大数据应用,工业大数据的核心是机器数据,机器大数据的特点,工业互联网和大数据的关系,+,=,企业发展动力,工业互联网与大数据的作用,工业互联网与大数据的特点,大数据对企业的应用价值体现,挖掘工业大数据价值的核心技术CPS,分析手段,工艺、效率和产能,商业模式内核,数据和知识建模,智能设备,平台基础,测量,材料,设备维护,6M,6C,CPS定义: 从实体空间的对象、环境、活动中进行大数据的采集、储存、建模、分析、挖掘、评估、预测、优化、协同，并与对象的设计、测试和运行性能表征相结合，产生与实体空间深度融合、实时交互、互相耦合、互相更新的网络空间；进而，通过自感知、自记忆、自认
3、知、自决策、自重构和智能支持促进工业资产的全面智能化.,工业大数据云平台实现路径,大数据处理的需求和特点,工业大数据云平台建设终极目标,IaaS：提供基本的计算、网络和存储资源。 PaaS：中间层，提供对行业业务应用的支持。 SaaS：向用户交付最终业务应用和数据分析。 PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。 PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。 PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。,云平台总体架构, 22 ,云平台总体架构介绍,工
4、业大数据平台-数据业务逻辑,准实时采集,批量采集,Hadoop平台,MPP，基于X86平台,主数据仓库,分布式数据库,基于X86平台,数据采集（云化ETL，流数据处理、爬虫）,数据层,获取层,能力层,精细化营销,智能运营,物联网应用,应用商店,客服应用,基础分析能力,数据挖掘能力,实时分析能力,自助分析能力,多维分析能力,数据共享能力,指标应用,报表应用,主题分析,专题分析,互联网,GN口,半结构化、非结构化数据,BSS,经分,DM,VAC,MC话单,业务平台,结构化数据,数据源,分布式文件系统 HDFS,记录明细数据,HBase,M/R,Hive,记录汇总数据,数据统一服务和开放SQL、FT
5、P、WS、MDX、API、,分布式数据库（MPP）： 存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。 主数据仓库（与MPP合设）： 存储指标数据、KPI数据和高度汇总数据。,Hadoop云平台： 负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。,数据开放接口： 向大数据应用方提供大数据平台的能力。,数据采集（ETL）： 负责源数据的采集、清洗、转换和加载包括： 1、把原始数据加载到Hadoop平台。 2、把加工后的数据加载分布式数据库和主数据仓库,应用层,
6、大数据平台目标架构及定位,数据分级存储原则,数据融合与分级存储实施,按数据血缘,按逻辑层次,按业务种类,按设备网络划分,按设备物理地址,在线、近线、离线,按访问频度,内存数据库,按响应 及时性,内存数据库,数据生命周期中在线数据对高性能存储的需求，以及随着数据生命周期的变更，逐渐向一般性能存储的迁移，是分级存储管理的一条主线。同时兼顾考虑其他分级原则，共同作用影响数据迁移机制。,基于生命周期,基于访问压力,基于业务用途,基于物理属性,分级原则,高性能 磁盘库,磁带 光盘库,中低性能 磁盘库,将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核心模型中，减少数据冗余，提升数据质量。 将
7、主数据仓库中的历史数据和清单数据迁移到低成本分布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。,数据,数据,数据,1、核心模型融入主数据仓库,主数据仓库,2、历史数据迁移到分布式数据库,分布式数据库,大数据平台： 数据分级存储,工业大数据平台-技术架构,源数据导入ETL，进行数据的清洗、转换和入库。,基础数据加载到主数据仓库，规划保存3年,清洗、转换后的ODS加载到分布式数据库规划保存1+1月，在分布式数据库内完成明细数据和轻度汇总数据加工生成，规划保存2年,ODS数据和非结构化数据，如爬到的网页数据ftp到Hadoop平台做长久保存,非结化数据分析处理在Hadoop平台完成，产
8、生的结果加载到分布式数据库,生成KPI和高度汇总数据加载到主数据仓库。,Hadoop平台,主数据仓库,报表数据,标签库,客户统一视图,信息子层,话单数据,非结构化数据,明细数据层 （DW）,轻度汇总层（MK）,高度汇总层（MK）,应用库,分布式数据库MPP,数据访问,SQL,FTP,HSQL,API,ETL,数据采集E T L,互联网,GN口,非结构化数据,BSS,经分,DM,VAC,MC话单,业务平台,结构化数据,数据源,获取层,1,2,3,4,6,5,业务应用通过数据访问接口获取所需求数据。,7,精细化营销,其他应用1,其他应用2,指标数据,大数据平台： 数据处理流程,数据采集-设备数据,
9、数据采集-实时数据接入处理,数据采集-批量数据接入处理,基于spark和hadoop的计算模型，同时支持批处理、交互式处理、流处理。,技术架构解决方案,批处理应用 （分钟级别小时级别）,OLTP/在线事务处理应用 （毫秒秒级别）,OLAP/在线交互式分析应用 （秒级别）,实时流处理 （持续不断）,技术架构解决方案,通常的时间跨度在数十秒到数分钟之间 按数据维度进行统计、聚合 根据历史数据进行拟合和预测 计算数据之间的相关性和模式等 适合提供高速在线分析服 典型应用场景 政府各部门数据 证券交易 银行保险 企业ERP/CRM等 适用于数据量在GB到TB的高速数据分析,通常的时间跨度在数百毫秒到数
10、秒之间 数据来源多、高并发、数据处理量达 分析结果快速响应 典型应用场景 社交网络分析、关联关系分析 用户分类、用户行为预测 高并发查询 按主键毫秒级检索 按多维度秒级检索 按照关键字秒级检索,交互式查询,实时在线处理,HDFS：分布式文件系统 有较强的容错性 可在x86平台上运行，减少总体成本 可扩展，能构建大规模的应用 HBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全 列式存储，节省存储空间 提供大数据量的高速读写操作 Hive：分布式关系型数据库 数据可保存在HDFS，可提供海量的数据存储 类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的
11、批处理 通过MapReduce实现大规划并行计算 MapReduce：大规划并行计算引擎 可将任务分布并行运行在一个集群服务器中,Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源， Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据和计算的高可靠保证。,大数据平台： Hadoop主要功能,HBase,MapReduce,Hive,HDFS,快速的数据读取,大数据存储统计,复杂计算并行处理,技术基础研究方向,-技术基础研究方向,大数据平台应用-资产管理服务,大数据平台应用-数据管理与服务,大数据平台应用-数据分析服务,大数据平台应用-数据安全服务,大数据平台应用-数据展示,
