《大数据资源中心建设总体方案》由会员分享，可在线阅读，更多相关《大数据资源中心建设总体方案（57页珍藏版）》请在金锄头文库上搜索。
1、政府大数据资源中心建设思路与方案目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案3政府大数据相关案例分享4政府大数据建设与运营经验分享政府大数据资源平台-价值定位政府大数据资源平台构建PB级大数据采集、存储、计算、挖掘、分析与应用能力汇聚数据资源汇聚数据资源形成数据资产形成数据资产建立数据应用建立数据应用建立数据服务建立数据服务保护数据安全保护数据安全政务处理经济发展城市管理乡村振兴智慧旅游县各级政务数据监控视频数据物联设备数据企事业单位数据互联网数据智慧政务智慧政务 数字政府数字政府数据查询数据查询数据计算数据计算决策依据决策依据洞察洞察&建议建议数据统计、业务分析、风险
2、预警、智能服务、辅助决策数据统计、业务分析、风险预警、智能服务、辅助决策&兑现数据价值、赋能政务处理、提升治理水平、推动社会发展兑现数据价值、赋能政务处理、提升治理水平、推动社会发展政府大数据资源平台-建设目标总体建设目标聚：逐步推进县级各部门政务数据、视频数据、物联数据以及基层业务数据的数据汇聚；推进与市级各类RK、FR、电子证照等基础数据的集成，构建并促进部门与乡镇数据库的建设和利用。管：构建一站式数据治理与资产管理平台，通过数据交换共享实现全县内数据汇聚、整合，构建全县统一的数据资产目录管理，形成对数据全生命周期管理及各环节质量监管。通：实现基于应用场景的数据资源授权管理机制，推动全县公
3、共数据按需充分共享。实现数据分级分类开放管理，构建共享交换能力。用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新；推进全县跨部门的数据智能应用。安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。政务数据资源平台政府大数据资源平台-组织及职责通过构建数据治理组织，明确不同级别的人员角色、职责及认责体系，形成一套高效、可持续的数据治理管理运行机制，并实现从不同层面、不同层级、不同维度来共同推动数据治理工作，确保组织的数据治理取得实效进展。X县人民政府县大数据发展管理局县大数据发展
4、管理中心公安局司法局统计局其他机关县人民政府是本县公共政务数据工作的领导小组，负责公共数据工作的统筹规划。县大数据发展管理局负责指导、监督、协调、推进公共数据相关标准工作。县大数据发展管理中心承担本县公共数据归集、整合、共享、开放、应用管理的具体工作。县其他行政机关在各自职责范围内，做好公共数据编目、开放共享工作等，并在业务中充分利用公共数据。政府大数据资源平台-建设配套制度数据治理相关的管理办法与业务规范规定了数据中心与业务部门，以及各系统之间的数据编目与归集、数据模型设计、数据模型开发、数据资产体系框架构建设、部署规范、数据安全运维管理以及数据共享的相关要求，指导整个组织展开大数据的管理与
5、应用。数据管理方法与业务规范总览公共数据总体管理办法公共数据安全管理办法政务应用系统改造规范政务数据资源归集规范政务数据资源清洗规范政务数据资源共享规范政务数据质量管理规范政务数据运营规范政务数据资源编目规范n业务规范是指对核心数据进行有关存在性、完整性、质量及归档的测量标准，为评估数据质量；n数据治理需要管理和制度的有力支撑，需结合组织现状，制定对应管理办法、流程、认责体系，并颁布相关规章制度。平台建设的前置条件政府大数据治理需要具备一些基础条件才能够顺利展开，政务数据资源、IT基础支撑资源、平台工具及技术能力。政府大数据资源IT基础支撑资源平台工具技术能力前置条件具备一定量的政务数据，县各
6、个委办及部门都建有相应的应用系统，系统中沉淀了数据库、表、字段及数据等。具备政务内/外网、计算资源、存储资源或者政务云、前置机等，可支撑并保障大数据治理平台的稳定运行。具备数据编目、数据归集、数据存储、数据清洗、数据共享、数据安全、资产管理等工具，助力政府大数据治理流程顺利执行。具备数据治理专业的技术支撑团队，团队人员需具备大数据治理模型设计、模型开发等专业知识。平台建设运营模式政务数据运营支撑体系数据管理数据管理组织组织数据标准数据标准规范规范治理平台治理平台工具工具数据治理数据治理流程流程数据管理数据管理制度制度政务数据运营实施原则平台建设先行平台建设先行长期治理运营长期治理运营1+N1+
7、N运营模式运营模式(即统即统一平台支持多个治理组一平台支持多个治理组)数据治理运营数据治理运营以业务线划分以业务线划分平台建设以平台建设以功能线划分功能线划分平台建设与治理平台建设与治理运营团队相独立运营团队相独立政府大数据资源平台运营构建一个能持续高效运转构建一个能持续高效运转的政务数据治理运营体系的政务数据治理运营体系始终以数据服务业务为目标，持始终以数据服务业务为目标，持续建设高价值的数据资产与服务续建设高价值的数据资产与服务目录对政府大数据资源平台建设的总体理解12政府大数据资源平台建设方案3政府大数据相关案例分享4政府大数据建设与运营经验分享总体建设蓝图政府大数据资源平台AI图谱技术
8、大数据云计算数据整合可视化数据展示功能设计应用发布需求分析数据应用模型设计产业经济渔业、旅游乡村振兴（RK/FR)基础数据数据存储数据计算数据治理开发调度数据服务计算模型数据源关联业务目标表单样式计算任务调度数据分析数据应用服务数据应用服务整合各类数据资源整合各类数据资源连接各组织人员连接各组织人员数据资源门户对接交换数据安全平台总体架构市大数据资源平台基础实施(网络&计算&存储)技术标准体系规范数据支撑底座数据交换数据资源中心（基础及融合数据库）数据资源门户数据服务信息安全保障体系数据共享应用数据安全管理平台统一运维平台数据整理治理数据分析平台功能架构数据源自建平台数据新建平台数据物联感知数
9、据市级大数据平台互联网数据数据交换数据采集数据交换配置数据交换校验数据交换异常监控支撑底座分布式存储批数据计算集群管理知识图谱分布式计算实时流计算AI预测图像搜索数据资源中心存储RDMS消息队列分布式存储存储非结构化数据图片数据文本数据实时数据实时存储时实模型离线数据应用层(基础与融合库)计算区离线计算实时计算标准层数据湖数据治理资源编目管理数据标准管理数据架构管理数据资产管理统一调度管理数据服务数据服务管理数据服务申请数据服务接口数据服务监控数据分析数据标签管理数据血缘分析数据探索工具关联度分析数据资源门户门户首页整合资源管理统一审批管理数据资产管理资源目录管理资源目录服务统一消息管理数据共
10、享应用RK库FR库电子证照产业经济主题库渔业、旅游数据库菜园、花鸟数据库乡村振兴统一运维监控资源管理基础资源监控应用服务监控监控告警管理平台运维管理数据安全统一身份管理统一认证管理数据脱敏管理数据加密日志审计管理统一日志管理元数据管理数据质量管理数据开发平台平台架构关系数据治理/服务/分析平台数据资产管理（元数据、标准、质量、资产、目录）资源编目数据归集开放共享清洗/融合加工数据源数据基础支撑平台数据共享交换平台-采集数据资源中心质量稽核统一维护平台数据安全管理数据归集任务调度数据归集任务调度数据处理提取与存储数据处理提取与存储集中集中监控监控维护维护信息信息安全安全保障保障数据资源门户（数据
11、应用服务）数据资产数据资产&服务调度服务调度开放控制开放控制&下发调度下发调度1243540资产管理65数据数据共享共享输出输出数据使用单位数据管理与开发人员资源中心建设规划通过相应平台工具汇聚全县内各单位公共数据形成县级数据湖，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源库，并基于相关应用需求构建各类应用基础、主题、专题、部门、乡镇数据库，进而形成县级数据资源中心。各类数据源各类数据使用单位与应用数据湖（ODS贴源层）数据库（DWD层）基础库主题库共享库（开放共享区）数据安全保障集中监控维护数据治理处理管理乡镇数据库部门数据库乡村振兴库共享数据库数据共享区X县政府大数据资源中心离
12、线数据区实时数据基础及融合数据库结构化数据公共数据库非结构化数据基础库RK库FR库共用信用库数据湖-贴源数据层政务资源社会资源智能物联设备互联网数据主题库产业经济权力事项电子证照库部门数据库渔业数据库旅游数据库公安数据库乡镇数据库花鸟数据库菜园数据库未来社区乡村振兴库经济振兴库居民文化库生态环境库资源建设总体过程数据服务数据生产者县政务数据乡镇政务数据企事业数据视频数据物联数据互联网数据数据消费者县各政务单位乡镇、街道事业单位民间机构企业上级政务单位政府大数据资源中心数据治理管理规范标准（元数据、标准、质量、资产、目录）数据资源建设与应用流程资源编目数据归集开放共享清洗融合加工质量稽核资产管理
13、数据生命周期管理持续持续反馈反馈数据归集数据安全管控资源建设数据治理流向内部业务数据内部各类文件内部物联数据外部数据互联网数据数据前置库政务数据资源中心数据湖&数据库ODS贴源层DWD基础库RK、FR、空间地理主题库互联网+监管、城市管理、专题库智慧旅游、乡村振兴、共享库数据前置库数数据据归归集集清清洗洗加加工工分分发发分分发发分分发发分分发发分分发发分分发发文文件件下下发发库库表表下下发发分发分发组织内部单位外部合作机构数数据据调调用用接口调用接口调用数据使用机构资源编目资源梳理-总体方法数据资源目录梳理是整个政务数据资源项目建设的基础工作，通过资源目录梳理工作才能全面了解部门的数据家底，才
14、能真正开展数据资源的汇聚、管理、处理与应用。通过以数据为核心的架构思维，完成整个政务信息资源的全面梳理、有序规范和资源编目工作。资源目录梳理业务梳理共享需求信息化情况局办的核心业务是什么？业务产生与使用的资源是什么？资源在哪里？资源谁负责？跨部门共享需求？哪些信息可向社会公开？哪些信息需要在部门间共享？哪些信息在内部使用？哪些有系统支撑？哪些数据已进库？核心业务的信息化现状？资源编目资源梳理-工作思路 为保证梳理工作的顺利开展、确保梳理信息的实际可靠，我们将政务信息资源梳理工作分为5个阶段完成：1、前期准备2、需求调研3、资源整理和入库4、资源分析5、成果产出梳理推进思路流程为了保障资源工作的
15、顺利推进，我们将通过5个方面来开展工作：1、前期准备：了解各部门的职责范围、业务过程、资源情况2、需求调研：摸清资源分布，明确共享需求，明确资源公开方式3、资源整理：整理分析哪些委办局的业务有哪些系统支持，哪些业务产生了数据，并对这些信息资源进行规范化表示4、资源分析：信息资源分析和资源目录是对信息资源进行一个高层次的整理和归类5、成果产出：形成报告、资源目录和相关的标准规范。资源编目资源梳理-成果输出成果物部门调研报告全县资源报告资源目录部门政务数据资源目录部门业务目录部门资源目录部门共享资源目录部门需求资源目录部门开放资源目录政务基础信息资源目录政务主题信息资源目录标准规范资源编目资源梳理
16、-成果输出（样例）资源编目功能展示数据归集数据范围政府大数据资源平台数据湖/库归集的数据范围、种类和存储方式如下：数据范围数据类型政务数据结构化数据公共事业数据行业数据物联网数据n县级政务数据：县级各委办局提供的公安、税务等各类政务数据；n街道政务数据：下属街道社区上报的各类政务数据。n水电煤：采集区级自来水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。n金融行业：整合金融行业个人、企业征信数据；n电信行业：整合电信运营商个人、企业的位置数据、互联网内容数据等关键数据n其他行业：整合其他行业的优质数据资源。n视频监控数据：采集X县内部署的交通、公安监等各类控摄像头所记录的监控视频数据；n其他感知设备数据：采集部署在X县内各类感知设备提供的数据。nSQL数据库：结构化数据的存储和计算以支持SQL的关系型数据为主，如MySql、KunDB等.nNoSQL数据库：非结构化数据的存储和计算以NoSQ数据为主，其中电子证照等小文件数据存储在Hyperbase等KeyValue结构的数据库中，视频等大文件存储在HDFS上。半结构化、非结构化数据数据归集功能展示数据源
