电子政务领域的大数据解决思路.ppt

《电子政务领域的大数据解决思路.ppt》由会员分享，可在线阅读，更多相关《电子政务领域的大数据解决思路.ppt（51页珍藏版）》请在金锄头文库上搜索。

1、,解决思路,行业实践,总结,1,问题分析,电子政务领域的大数据解决思路,行业实践,总结,2,问题 分析,解决 思路,问题分析 行业 实践,解决思路 总结,1,2,3,4,目录页 ContentsPage,行业实践,总结,3,问题 分析,解决 思路,问题分析 行业 实践,解决思路 总结,1,2,3,4,目录页 ContentsPage,解决思路,行业实践,总结,4,问题分析,信息资源共享难,缺乏统一数 据标准,信息孤岛现 象严重,面临的问题,分析利用 程度低,信息共享难 度大,数据安全缺 乏保障,缺乏统一资 源目录,解决思路,行业实践,总结,5,问题分析,电子政务建设的问题,4,项目建设 运维成

2、本 高 电子政务,1,缺少总体 顶层规划,2 条块分割 纵强横弱,资,IT3 源利 用率低,标准不一、重复建设、粗放 式建设,1,2,各自为政、信息共享难、业务协 同更难,3 4,基础设施利用率低、数据价值没 有发挥 投资成本高、缺乏专业运维团队 、运维成本高、时间成本高（部 署、开发）。,解决思路,行业实践,总结,6,问题分析,电子政务的大数据建设目标,（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台 （2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系 （3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展,行业实践,总结,7,问题 分析,问题 分

3、析,问题分析 行业 实践,解决思路 总结,1,2,3,4,目录页 ContentsPage,解决,思路,解决思路,行业实践,总结,8,问题分析,分布式数据中心架构,政府公共数据中心,教育 行业数据中心,卫生 行业数据中心,交通 行业数据中心,其他,交通监控系统,公交调度系统,机动车/驾驶 员管理系统,停车引导系统,摄像头,GPS,ETC,传感器,解决思路,行业实践,总结,9,问题分析,逻辑库与物理库,卫生,公安,教育,远程物理库,基础库,内存,闪存,硬盘,分布式查询引擎,逻 辑 库,分 布 式 资 源 索 引,资 源 调 度,分级缓存 本地资源调度 缓冲库 本地物理库 远程资源调度,资源定位,

4、资源检索,解决思路,行业实践,总结,10,问题分析,以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理,Web直报,大数据生命周期,数据库 数据文件,数据接口,质量控制,汇集 规整 标准化,清洗 转换,元数据库,结构化数据库,数据仓库,数据比对,分析服务,资源目录 信息共享,数据展现 决策支持,抽取 报送,分类 存储,数据 接口,服务 提供,非结构化 数据 异构数据源 数据采集,分布式文件库 数据管理,报表服务 查询服务 数据服务, 数据应用,解决思路,行业实践,总结,11,问题分析,相关技术,数 据 分 散 不 规 范 问 题,数 据 一 致 性 问 题,数 据

5、 涉 密 不 能 落 地 问 题,数 据 标 准 不 一 致,数 据 质 量 问 题,数 据 安 全 性 问 题,数 据 深 入 分 析 不 够,数 据 可 视 化 程 度 低,结 构 化 大 数 据 存 储,非 结 构 化 数 据 存 储,解决思路,行业实践,总结,12,问题分析,“三张皮”变“一张皮”,业务 应用 1,业务 应用 2,业务 应用 N,资源 共享 应用1,资源 共享 应用2,资源 共享 应用N,数据 分析 应用1,数据 分析 应用2,数据 分析 应用N,业务库 OLTP,共享库 三类数据资源,主题库 OLAP,数据整合,共享数据,数据建模,大数据平台,即席查询,解决思路,行业

6、实践,总结,13,问题分析,政务大数据应用架构,安 全 防 护 体 系,标 准 规 范 体 系,基础 设施,服务器,存储,网络,资源整合、虚拟化管理、按需分配,发改委,财政,建委,资源共享、业务协同、决策分析、信息门户、,应用 平台,KPI 仪表盘 ESB SOA 数据集市 主题域数据库 ODS 采集、整合、服务、监管,领导驾驶舱 工作流引擎 社管 卫生 环保,交通 教育 ,业务报告 Office集成 建交委 公安局 规划局,图表展现 监测警报 卫生局 教育局 ,应用 支撑 数据 中心,解决思路,行业实践,总结,14,问题分析,实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的

7、集中及分布式 存储，为政府大数据项目提供基础支撑和保障,达梦大数据平台,解决思路,行业实践,总结,15,问题分析,大型 通用 关系型 云数据库,安全,自主,联机分析处理 （列存库）,大数据处理 （MPP数据库）,DM7 联机事务处理 （兼容 oracle） 安全保护,统一接口,ODBC,JDBC,PL/SQL,OCI,ADO,PDO,达梦大数据平台数据存储类（DM7）,智能索引,列存表 DMMPP 并行加载,解决思路,行业实践,总结,16,问题分析,达梦大数据平台数据存储类（MGBase）,Master,Master,数据 服务器,数据 服务器,列实例,列实例,列实例,Master 数据服务器

8、, 面向列的分布式 NoSQL型数据库 构建于分布式文件系,统之上, 适用于半结构化和非 结构化海量数据存储,解决思路,行业实践,总结,17,问题分析,达梦大数据平台异构分布式查询,关系型数据库,综合查询系统,资源目录系统,中心节点,内存 闪存 硬盘 本地分级缓存 TXT、EXCEL、XML 和WebService等其 他数据源,数据访问代理 非关系型数据库,业务节点,各类数据源,业务节点,前置节点,分数据中心节点,数据访问代理 各类数据源,数据访问代理 各类数据源 业务节点 数据访问代理,各类数据源,数据访问代理 各类数据源 前置节点 数据访问代理,各类数据源, 采用一致接口访问本 地、远程

9、数据源 支持多级代理，适应 复杂网络部署, 支持关系数据库、数 据文件、数据接口、 NoSql数据库,解决思路,行业实践,总结,18,问题分析,前置交换库,前置交换库,前置交换库,前置交换库,达梦数据交换系统,数据中心, 前置交换库,交换管理, 支持异构数据源采集 Oracle, ,Sql Server DM dbms DB2 MySql, ,Sybase Excel文件,其它文件, 支持多级单位间的数 据交换,解决不同单位、不同系统之间的数据采集、数据交换等要求。,业务信息库 发改委,业务信息库 建委,业务信息库 财政局,业务信息库 规划局,业务信息库 审计局,达梦大数据平台数据交换类（DM

10、ETL）,解决思路,行业实践,总结,19,问题分析,1. 2. 3. 4.,数据备份 OLAPOLTP分离 实时同步 灾备,达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同 步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。,达梦大数据平台数据交换类（DMHS）,解决思路,行业实践,总结,20,问题分析,达梦大数据平台数据交换类（请求服务引擎）,分布式请求服务引擎, ,穿透内外网 请求转发 远程服务代理 中心/分中心一体 化服务,分布式请求服务引擎解决数据不能落地的远程数据访问问题。,请求响应列表 请求响应协调器 请求响应服务器,请求监听

11、列表 数据查询器 请求转发器,比对 请求,交换 请求,查询 请求,任务池,内网,外网,外网请求服 务数据库,内网请求服 务数据库,数据交换平台,解决思路,行业实践,总结,21,问题分析,达梦大数据平台数据管理类（元数据管理）, 版本管理 导入/导出, 元数据应用,元数据,数据来源,数据仓库 设计,业务分析,业务视图,数据仓库 业务主题,统一数据标准，全过程元数据记录， 数据转换 工具 数据标准 元数据仓库 自动获取 关系维护,解决思路,行业实践,总结,22,问题分析,利用ETL工具, ,异构数据源支持 图形化设计器 丰富的清洗转换组件 基于插件模式扩展 ,实现数据的清洗、转换、规整、治理、标准

12、化等,达梦大数据平台数据管理类（数据整合）,解决思路,行业实践,总结,23,问题分析,数据管理 数据维护 数据权限 数据发布 备份/恢复 导入导出 基于元数据，通过快速配置实现对数据的基本管理、访问权限 控制与发布等功能,达梦大数据平台数据管理类（数据资源管理）,解决思路,行业实践,总结,24,问题分析,达梦大数据平台数据管理类（资源目录）,收集整理所有相关系统、相关数据、相关服务等资源信息 方便用户寻找有用的信息,行业实践,总结,25,问题分析,数据源n,解决思路 数据仓库,数据共享库 ,ETL 数据源1,质 量 报 告 质 量 治 理,质 量 规 则 监 控 完整性 校验, 质量标准定义

13、质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理,达梦大数据平台数据管理类（数据质量管理） 实现数据质量监控、报 准确性 质 性校验 数 量 告及治理 据 监 探 测 控 服 数据质量管理包括： 务,解决思路,行业实践,总结,26,问题分析,网 络,服务池,服,务,注 册 中 心,服务总 线(ESB),服,务 调 度 器,其它系统,用户,异质异构服务集成； 分布式服务集成。,简化服务的提供和使用！,达梦大数据平台数据管理类（服务管理平台）,解决思路,行业实践,总结,27,问题分析,达梦大数据平台数据仓库建模工具,1.用于数据仓库建模 2.辅助数据仓库实施人员完成 从数据仓库概念

14、设计 到最终物理实现全程,解决思路,行业实践,总结,28,问题分析,达梦大数据平台OLAP分析,1.支持ROLAP、MOLAP、HOLAP 2.支持星型模型、雪花模型 3.标准化MDX语言 4.二次开发： 支持OLAP访问接口 支持XMLA协议 图形化查询工具,解决思路,行业实践,总结,29,问题分析,达梦大数据平台数据挖掘工具, 数据源类型丰富 文件 关系数据 URL 多种挖掘分析算法 Apriori BFTree FarthestFirst, 多种挖掘分析方式 分类与回归分析 聚类分析 管理分析 序列分析 可视化挖掘 应用系统可集成,解决思路,行业实践,总结,30,问题分析,达梦大数据平台BI工具, 提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线图 面积图 提供应用集成接口,解决思路,行业实践,总结,31,问题分析,达梦大数据平台数据门户,解决思路,行业实践,总结,32,问题分析,达梦大数据平台一张图呈现,基于地理信息、移动终端等多种方式呈现,行业实践,总结,33,问题 分析,解决 思路,解决,思路,解决思路 总结,2,3,4,目录页 ContentsPage,1,问题分析 行业 实践,解决思路,行业实践,总结,34,问题分析,行业实践公安行业,