《电子政务公共平台数据技术管理设计说明》由会员分享，可在线阅读，更多相关《电子政务公共平台数据技术管理设计说明（53页珍藏版）》请在金锄头文库上搜索。
1、基于云计算的电子政务公共平台数据管理技术设计 平台数据管理范畴与定义平台数据管理技术目标数据管理技术设计与内容数据管理的实践 汇报提纲 平台数据管理范畴与定义 数据 简析 追根溯源 数据产生于计算机出现之前 书本 地图 艺术等计算机出现以后 数据的内涵与表现形式都发生了巨大变化在存储介质层面 数据表现为各种能保存0 1两种状态的载体在逻辑层面 数据表现为组织与使用方式 逻辑层面 数据管理 物理层面 存储介质 卡片 内存 磁盘 光盘 磁带 100001 今天 我们讨论的主要是指逻辑层面 可称为数据管理 平台数据管理问题与定义 海量数据管理 时代的挑战 IDC研究表明 全球数据产量仅2011就达1
2、 8ZB 或1 8万亿GB 未来十年的全球数据量将增长50倍 主要有两类情况 一类是原有数据种类量的增加 如业务应用等 另一类是过去我们没关心或没能力关心的数据 如Weblog 社交媒体 实时位置 智能设备 传感器计量等 数据管理最大的挑战是 海量管理能力 多类型 变化快 高可用性 低成本 高端可扩展性 很多传统的技术已经难以应对 平台数据管理范畴与定义 电子政务公共平台的挑战 数据管理 平台数据管理范畴与定义 业务应用对IT方面需求 土地 施工企业资质 人员资质 住宅 形成权威性的建委数据管理中心保证各部门的数据共享需求保证各业务系统的业务使用对数据不全 不准的系统可以对其数据进行审计与绩效
3、监控对数据可以进行展示 挖掘 利用 分析 向下为各区县服务 向上为委领导 住建部领导做决策支持服务 安检 施工监控 住宅验收 形成数据资源共享服务新秩序 住保业务系统 辅助决策分析 住保数据资源中心 其他业务系统 平台数据管理范畴与定义 集中资源池的共享 虚拟化 分时 区共享 动态调配 弹性伸缩 自动化 自服务 低成本 标准化硬件 云计算 云数据管理 技术标准化能力服务化提供快速化资源弹性化管理自动化管控集中化 平台数据管理范畴与定义 新工具 云数据管理 数据仍然是云中心最重要的信息资产 平台数据管理范畴与定义 电子政务公共平台数据管理技术是指全生命周期的数据管理体系 包括数据采集技术 数据存
4、储技术 数据服务技术等全过程的管理技术 它结合云计算 大数据的管理技术特征 同时规范电子政务公共平台数据管理核心要素 并兼顾 引导传统数据管理技术逐步进化为云数据管理技术 平台数据管理范畴与定义 平台数据管理范畴与定义平台数据管理技术目标数据管理技术设计与内容数据管理的实践 汇报提纲 复杂数据采集源头海量分布式存储与管理数据服务管理数据共享交换管理与服务数据集成管理与服务标准的访问接口服务化 平台数据管理技术目标 电子政务公共平台数据管理技术标准的建设 最终要指导平台建设数据资源的统一采集管理 统一存储管理 统一利用服务管理和业务应用系统的数据融合管理 形成平台相应的数据管理技术规范 保障政务
5、数据资源的有效利用与开发 电子政务公共平台数据管理技术标准是指导平台通过多种数据服务支撑模式 实现政务数据在平台上的统一维护和灵活配置服务 为政务数据的高效使用提供有力的支撑管理能力 为政府社会管理创造更多的价值 平台数据管理技术目标 平台数据管理范畴与定义平台数据管理技术目标数据管理技术设计与内容数据管理的实践 汇报提纲 数据管理技术设计与内容 三个环节四部分内容 数据管理采集技术指的是 依照平台管理和服务的用户需求 从平台有效的数据源中获取和收集各种形态数据的过程管理技术 它的设计内容包括数据源的发现与定位和数据采集与提取等技术过程 数据管理采集技术设计 数据管理技术设计与内容 确定数据源
6、的范围 什么样的数据源为平台合格的数据源 如何将数据源变成真正的采集对象 服务化 自服务 采集对象的自描述 含盖哪些属性 平台与采集对象的绑定 采集过程的实现 对采集过程的监控与追溯 对采集行为及任务完整统计分析 平台将上述功能的服务化 并为提供给平台的使用者 数据管理采集技术设计 数据管理技术设计与内容 采集技术要解决的问题 数据管理技术设计与内容 数据管理采集技术设计 数据源 平台能管理的数据来源 涵盖在平台内外部署的所有应用系统 应包括政务业务应用 物联网应用 互联网应用和移动应用等 采集对象 能自描述和自服务的所有数据源称之为采集对象 自描述是指它能提供所属单位 数据内容 数据关联 数
7、据类型 更新频率 访问方式等属性 并以服务形式提供给平台发现和定位 自服务是指它以服务化方式提供接入平台的方式 以便平台获取和收集数据 数据管理技术设计与内容 平台对采集对象管理功能 提供采集对象的属性描述功能 所有接入的数据源需要有唯一标识 所属单位 数据内容 数据类型 更新频率 访问方式 通信机制等 提供组织功能 可按用户的组织机构 业务应用等不同方式进行分类管理 提供对采集对象的查询 检索功能 提供生命周期控制功能 包括采集对象的注册 发布 使用授权 变更 注销 支持数据源管理模型的扩展能力 以便适应多种新型的信息存取方式 数据管理技术设计与内容 数据管理技术设计与内容 数据管理采集技术
8、设计 平台对采集对象的绑定 通过绑定方式对数据提供者和使用者进行关联和管理 提供数据生产方与使用方一对一 一对多 多对多的绑定功能 提供绑定生成 绑定变更 绑定解除等 采集流程调度 在采集过程中 依照数据提供周期及使用周期的不同 提供不同频次的数据采集调度 包括 可以根据不同业务 不同场景 实时调度或者指定在某一天单一调度 也可以指定在某年 某月 某日 某小时 某分来循环调度 并行采集技术 为提高采集效率 通过多通道分时复用数据采集 多通道同步数据采集 分布式数据采集等采集技术 数据管理技术设计与内容 数据管理技术设计与内容 数据管理采集技术设计 状态监控 监控采集过程中的所有信息 包括提供采
9、集对象监控 包括采集对象运行状态 负载情况监控等 任务监控 能实时了解供采集任务执行情况 能实时了解任务执行时间 采集数据量 采集数据大小 空间使用情况 内存使用情况等 异常监控 针对过程中的异常情况 能提供异常情况预警 包括采集任务执行失败 采集节点状态异常 网络情况异常等 对采集异常情况可以进行采集任务追溯 数据管理技术设计与内容 数据管理技术设计与内容 数据管理采集技术设计 在数据过程中 采集统计管理负责对采集过程和采集结果的统计 主要包括 采集任务运行情况统计 采集任务资源使用情况统计 采集任务异常事件统计等按照日报 周报 月报 年报 实时报方式统计 将各统计信息以不同图表方式展示 数
10、据管理技术设计与内容 在云计算电子政务公共平台环境下 针对数据的非确定性 分布异构性 海量 动态变化等特点 设计采用分布式数据存储技术对数据存储进行有效管理 为向用户提供高效的数据服务能力 数据管理存储技术设计 数据管理技术设计与内容 按不同用户的需求 确定数据存储策略 对不同用户的数据 要实现数据隔离或融合机制 对用户提供高效管理的工具 配置 导入 导出 安全等 云服务动态调度策略和机制 为用户提供对存储的有效监控 支持非结构化和半结构化数据的存储管理技术 支持大数据存储与分析 数据管理存储技术设计 数据管理技术设计与内容 存储技术要解决的问题 数据管理存储技术设计 数据管理技术设计与内容
11、平台云存储的管理 通过集群 分布式文件系统和网格计算等技术 实现云存储中多个存储设备之间的协同工作 使多个的存储设备可以对外提供同一种存储服务 并提供更大更强更好的数据访问性能 存储管理是实现存储设备向存储服务的转变的核心 云存储管理要求 云计算系统能为不同用户提供不同级别的数据存储策略 应提供可将计算机文件的存放划分为几个等级 如单机级 跨服务器级 跨机柜级以及跨数据中心级 为单个用户提供独立逻辑数据存储空间 必须保证各用户之间的数据不可见性 确保多用户之间的数据隔离机制 数据管理技术设计与内容 数据管理存储技术设计 数据管理技术设计与内容 存储调度策略 在存储调度管理过程中 应提供根据不同
12、任务需求和调度模型情况下的云服务动态调度机制 可通过相应的权限和优先机制进行服务的调度处理 以平衡各类应用压力 优化资源的应用 提供让用户可以按任意的时间间隔 年 月 日 时 分 自动调度 数据管理技术设计与内容 数据管理存储技术设计 数据管理技术设计与内容 存储活动的运行状态监控 存储监控指在存储过程中对存储的所有活动进行监控和管理 包括存储状态监控 对基础软硬件进行状态监控和性能监控等 分布式文件系统监控 监控信息包括节点信息 文件 数据块分析 文件历史操作 数据块操作历史 文件 数据块排名等监控 数据管理技术设计与内容 数据管理存储技术设计 数据管理技术设计与内容 安全设计应考虑支持多实
13、例并行 任一实例宕机不会影响应用可用性 系统自动完成运行实例与数据的恢复 支持集中控制云环境多节点数据并行备份 应支持系统提供错误监控机制 对于故障采取自动迁移 采用多份备份来确保数据的安全性 系统达到高可用性 数据管理技术设计与内容 电子政务云平台应提供数据管理的服务技术 方便各部门用户管理处理和共享所需的各种数据资源 设计针对服务全生命周期不同阶段进行管理提供的服务 数据管理服务技术设计 数据管理技术设计与内容 数据的使用要以服务方式体现 要支持数据服务的多样性 形成统一访问方法 要支持数据服务灵活变更需求 对数据服务要有有效监控手段 平台要支持多租户管理 要有支撑数据服务的支撑技术 数据
14、管理服务技术设计 数据管理技术设计与内容 服务技术要解决的问题 数据管理服务技术设计 数据管理技术设计与内容 数据资源目录服务技术设计应按照 政务信息资源目录体系 系列标准的各项功能设计 并将功能按照公共平台规范要求将各功能进行服务化设计 数据目录服务技术设计 数据管理技术设计与内容 数据目录服务技术设计 数据管理技术设计与内容 共享交换服务技术设计 应在按照 政务信息资源交换体系 系列标准要求的功能基础上实现共享交换功能的服务化和前置机虚拟化 并实现电子政务公共平台内部应用系统间及政务公共平台内部 外部应用系统间的交换和共享服务 数据共享交换服务技术设计 数据管理技术设计与内容 数据共享交换
15、服务技术设计 数据管理技术设计与内容 数据集成服务设计 应提供面向多租户的ETL服务 即数据抽取 Extraction 数据转换 Transformation 数据加载 Loading 服务 同时提供用户自主使用的ETL开发配置和监控管理服务 帮助用户将批量异构的数据集成到统一的存储管理系统中 以便完成进一步的数据挖掘和分析 数据集成服务技术设计 数据管理技术设计与内容 数据集成服务技术设计 对可支持常见关系型数据库 非关系型数据库 文件等不同类型的数据源的数据抽取 必须支持主流国产数据库 支持全量抽取 增量抽取 基于日志的抽取等抽取模式 具备扩展能力 可以支持诸如NoSQL的非关系数据库的抽
16、取 数据管理技术设计与内容 主要指为满足电子政务应用需求而提供的对数据的多种技术处理手段 电子政务中常用的有 数据分析服务和数据展现服务等 数据处理服务技术设计 数据管理技术设计与内容 数据处理服务技术设计 数据管理技术设计与内容 公共平台应根据所管理数据的规模和实际业务需求提供大数据特征的数据分析和预测分析服务 具有良好的扩展性 容错性和大规模并行处理特征 满足电子政务的智能性分析预测的需求 应支持海量数据挖掘 满足政府部门单位TB PB级数据分析需要 应支持基于Hadoop HDFS MapReduce HBase Hive等业界流行的大数据存储 分布式计算框架 灵活处理分布式挖掘分析应用 数据分析结果应满足多种形式的输出 分析结果可导出数据 分析结果可生成多种格式的报表 分析结果可通过门户发布到web页面 分析模型及分析结果可与现有应用系统无缝集成等 数据管理技术设计与内容 数据分析服务技术设计 公共平台通过统一的数据门户提供数据展现服务有关功能 数据门户提供统一的数据展现服务管理 将各类数据以图形 图像 地图 动画等更为生动 易于理解的方式来展现数据 应提供统一的数据门户服务
