智慧城市大数据中心建设内容.docx

《智慧城市大数据中心建设内容.docx》由会员分享，可在线阅读，更多相关《智慧城市大数据中心建设内容.docx（36页珍藏版）》请在金锄头文库上搜索。

1、智慧城市大数据中心建设内容一、建设背景为深入贯彻落实党的十八大精神，抓住和用好新一轮科技革 命和产业变革机遇,在互联网经济、大数据时代大潮中赢得主动、 取得突破，促进智慧城市健康开展，推动全区经济社会转型升级, 智慧建设工作方案提出通过“一大数据中心十四大智慧平台 +N大智慧应用”的建设，努力把区打造成为具有国际影响力的 智慧城市建设先行示范区、具有一流竞争力的智慧经济开展产业 集聚区、具有较强辐射力的智慧民生服务创新先导区。二、建设原那么 推进共享,确保平安。确保处理加快共享与平安保障的关系,确保数据共享工作平安运行。先易后难，突出重点。强调需求导 向，稳步推进各类政府数据资源共享，逐步提高

2、向社会共享的广 度和深度。标准先行，加强推广。强化资源梳理，深化统一标准 规范的建设及推广应用。深化改革，创新产业。推进政府大数据 治理改革，打造大数据产业开展新引擎，助推产业转型升级。三、总体架构要求智慧城市大数据中心在统一的基础设施支撑下，围绕“一中 心四平台”总体框架，建立统一的城市大数据资源汇集、交换中 心；在自主可控的统一标准及管理制度体系、平安管理保障体系、 运维监控体系下，通过基础层、数据层、支持层、应用层、用户 层建设；覆盖全区的公共数据综合服务体系。智慧城市大数据中心总体架构如下列图所示：标准；三是明确数据采集、管理、使用、运维等技术规范，保障 数据中心的完整性实时性，对应数

3、据采集、管理、使用、运维等 制度规范，其主要内容如下：基础数据类标准：区基础信息库信息分类与代码规范区基础信息库元数据规范区基础信息库业务建模与数据字典规范区基础信息库数据质量规范数据采集、交换、处理、共享类技术标准：区基础信息库数据采集规范区基础信息库数据处理规范区基础信息库数据交换规范区基础平台通用技术要求规范区基础平台消息服务规范区基础平台服务接口规范数据采集、管理、使用、运维等制度规范：区基础信息库数据采集制度区基础信息库数据交换制度区基础信息库平台使用制度区基础数据库运维管理制度（3）平安管理标准平安标准将以直接采用为主。主要包括：根据国家公布的信 息系统等级保护相关法令、法规，制定

4、平安防护标准，如平安防 护策略、边界防护标准、访问控制机制、互联网出口管理规范等;制定平安管理标准，实现与上下级平安管理中心平安事件的交 互，如软硬件平安接口标准、平安审计和通报接口标准、平安事 件响应标准等；身份认证标准，将直接采用国家电子政务内网、 外网正式公布身份认证体系相关规范标准。区平台平安防护规范区平台平安管理规范区平台身份认证规范（4）工程管理标准按照科学的管理方法，利用标准化手段，对工程建设进行全 方位、全过程的管理和监督。工程管理标准指工程从立项、开发、 监理、验收、运行、管理等环节应遵循的管理规范标准的集合。区工程开发过程管理规范区系统软件开发技术规范区工程建设运维管理规范

5、区系统软件工程文档编制规范区工程验收测试规范3、基础信息资源池建设需求大型数据库软件需为能满足50个用户使用的企业版大型数 据库软件（如Oracle 11g）,用于各类基础信息资源库的建设。（1）四大城市公共基础库人口基础信息库建设可按照基本信息、扩充信息和共享应用 信息三类，支持个人证照信息，并且根据需要可以及时追加基础 信息。数据采集、交换、共享部门数不少于40个。支持人口库 的统计和查询功能，包括数据的采集、交换、使用等情况的统计 和查询。满足为政务数据开放平台提供人口库的基础信息查询数 据要求。支持按区域、按规那么、按部门对人口基础信息的交换、 共享和数据发布，依据数据时效性要求实现数

6、据的双向同步。人 口基础信息采集后应满足数据质量要求，实现自动完成数据的清 洗、自动比对校验、入库。支持数据处理的自动调度、自动处理、 异常数据预警。支持与苏州市级人口库双向交换，支持本地人口 数据库信息登记、审核比照、信息交换、后台管理以及访问门户 等功能。法人单位基础信息库建设，按照核心基础信息、法人扩展信 息和法人共享信息三类划分，并且根据需要可以及时追加基础信 息。核心基础信息数据采集、交换、共享部门数不少于7个（区 市场监督管理局（工商、质监）、区地税局、区国税局、区民政 局、区人力资源和社会保障局、区编办），二期完善扩展。支持 法入库的统计和查询功能，包括数据的采集、交换、使用等情

7、况 的统计和查询。满足为政务数据开放平台提供法人库的基础信息 查询数据要求。支持按区域、按规那么、按部门对法人基础信息的 交换、共享和数据发布，依据数据时效性要求实现数据的双向同 步。法人基础信息采集后应满足数据质量要求，实现自动完成数 据的清洗、自动比对校验、入库。支持数据处理的自动调度、自 动处理、异常数据预警。地理空间基础信息库建设，通过调研掌握区空间地理信息需 求现状，依托于苏州市原有地理信息数据，在其基础上进行整合 区规划局、国土局等相关图层数据，以满足区现阶段需求，并符 合数据交换共享未来开展和建设方向。同时，将城市公共信息与 地理信息库对接，实现城市公共资源的二维平面在地理信息库

8、中 的三维立体化展示，即在“一张图”中查询阅览城市信息资源， 帮助各部门开展日常工作。支持地理基础信息的统计和查询功 能，包括数据的采集、交换、使用等情况的统计和查询。满足为 政务数据开放平台提供地理信息的基础信息查询数据要求。支持 按区域、按规那么、按部门对地理信息基础信息的交换、共享和数 据发布，依据数据时效性要求实现数据的双向同步。地理信息基 础信息采集后应满足数据质量要求，实现自动完成数据的清洗、 自动比对校验、入库。宏观经济基础信息库建设，需包含社会宏观经济常用的各项 数据，并且根据需要可以及时追加基础信息。对接统计局的数据 形成宏观经济基础信息库数据采集、交换、共享部门数不少于 4

9、0个。支持宏观经济库的统计和查询功能，包括数据的采集、 交换、使用等情况的统计和查询。满足为政务数据开放平台提供 宏观经济的基础信息查询数据要求。支持按区域、按规那么、按部 门对宏观经济基础信息的交换、共享和数据发布，依据数据时效 性要求实现数据的双向同步。宏观经济基础信息采集后应满足数 据质量要求，实现自动完成数据的清洗、自动比对校验、入库。 支持数据处理的自动调度、自动处理、异常数据预警。（2）公共业务库公共业务库是对四大公共基础数据库的补充和扩展，需全面 实现对政府所有组成部门的全科室、全业务非涉密数据全覆，数 据采集、交换、共享部门数不少于21个。支持相关公共业务类 数据集的统计和查询

10、功能，包括数据的采集、交换、使用等情况 的统计和查询。满足为政务数据开放平台提供公共业务基础信息 查询数据要求。支持按区域、按规那么、按部门对公共业务基础信 息的交换、共享和数据发布，依据数据时效性要求实现数据的双 向同步。公共业务基础库采集后应满足数据质量要求，实现自动 完成数据的清洗、自动比对校验、入库。支持数据处理的自动调 度、自动处理、异常数据预警。（3）公共专题库按照特定应用场景和服务型为各应用提供融合服务，并实施 分库管理，保障经济运行、城市管理、民生融合、电子政务四大 平台及各位智慧应用数据的专题应用，以支撑其他智慧应用的接 入。公共专题库应至少包含10个以上专题应用主题，并能根

11、据 实际需要不断动态扩展专题库建设。支持按区域、按规那么、按部 门对专题业务基础信息的交换、共享和数据发布，依据数据时效 性要求实现数据的双向同步。公共专题基础库满足数据质量要 求，实现自动完成数据的清洗、自动比对校验、入库。支持数据 处理的自动调度、自动处理、异常数据预警。4、大数据共享交换平台建设需求各类智慧应用数据、物联网数据、互联网数据、视频数据等 数据经交换平台交换到中心，通过资源整合、清洗比对转换处理, 在交换中心形成中心基础信息数据库及三级数据库，形成统一的 数据标准及管理规范，实现对城市大数据中心数据库的日常管理 与维护。数据库建设须实现城市大数据中心的数据从采集到入库，全 流

12、程严把数据质量关，制定详细的加工规那么及流程，从而保障基 础信息库能够存储较高质量与细颗粒度的数据资源，同时包括数 据过滤清洗、数据比对等功能。通过数据清洗比对，对采集库获 取的各部门汇总信息进行清洗、比对，形成标准、规范、准确、 可信度高的基础数据库。数据整合服务的作用表达在通过规那么进 行数据加工、数据整合、数据关联等功能，能够动态配置实现各 类信息处理，在基础数据库的基础上，通过进行清洗、转换、集 成；通过数据整合及服务能够提供对采集的数据进行转换、稽核、 关联聚合等一系列加工处理功能，对涉及到多个来源的共享数据 进行加工处理，对外提供一个完整的数据视图，并能够对数据质 量进行管控。大数

13、据共享交换平台将实现各部门之间的跨部门数据交换 和传输功能，支撑全区各部门相关应用间的数据交换，并通过该 系统汇总到信息资源中心，并能实现数据资源的采集、清洗、比 对、转行、加载等功能。要求包括：大数据采集模块、大数据清 洗加载模块，大数据共享交换模块、大数据质量管理模块、元数 据管理模块、数据资源管理模块、资源统一调度模块和基础服务 模块等建设。需能监控整个系统运行情况，如：使用部门、频率、 操作内容、数据流量、运行状态、非法使用等；对建立基础信息 库及相关指标体系的有效管理；实现中心的用户认证、信息授权、 系统管理等。（1） 大数据采集模块大数据采集模块提供多种类型的采集手段，以满足区政府

14、各 级行政单位IT系统对数据采集现状的要求。采集模块应满足以下业务要求：采集模块支撑大数据平台数据源的采集工具，支持各类 结构化和非结构化数据的采集；平台实现可视化的数据采集，采用元数据管理的方法， 由用户或专业技术人员在界面上操作实现数据采集；于专网或其他原因的用户，通过客户端应用实现数据采 集功能实现；并提供线上或线下的导入功能；对政府各机构业务，以及数据进行标准化定义，建立数 据字典，并建立目录资源库；实现数据和业务的唯一解 释；支持离线采集及实时数据采集模式；手段包括但不限于 “推”模式、“拉”模式、web上传模式、直连模式；数 据更新方式包括但不限于快照模式、触发器模式、日志 模式、

15、API模式、影子表法模式、时间戳模式；提供采集节点监控和异常处理机制，包括：采集任务中 断、采集数据失败等相关异常现象时，实现相关的补采 机制，并通过告警的方式通知系统用户以保障源数据采 集的可靠性；支持采集周期配置，可按实分、小时、天、 月等不同的时间周期进行配置。支持采集数据的存储路 径配置。采集模块应具备以下功能：定义采集字段：对数据源数据结构进行选择性采集；定 制采集ETL策略可视化的采集策略定制，采集策略应该包括：全量采集、增量采集、一次性采集；采集任务设置：设置采集任务的运行周期，如一次性采 集、周期性采集、定时采集；采集任务前必须具备的条 件；采集任务之后需要执行的任务调度与监控

16、：调度与监控，分为中心调度监控和节点调 度监控；中心控制整个网络系统；节点仅仅控制自身的 采集任务与调度；所有调度任务需要经过中心授权才能实现；任务失败处理：采集任务如果失败，可视化的可以设置 尝试重新采集的次数以及诸如报警灯其他可操作方式网络结构与解决方案：对于不同的网络结构，采取与业 务系统松耦合的数据采集策略；可以在节点与数据中心 之间以通信服务器（前置机）的方式进行解决； FTP方式定义多格式数据信息:数据中心接受FTP方式的 数据上传，但是所有以FTP方式上传的数据结构必须在 数据字典中已经定义确认；大数据清洗加载模块大数据清洗加载模块通过大规模，可扩展算法的ETL实现数 据的清洗、转换、加载功能；保障采集的数据正确、完整、规范 地加载到目的地；实现数据