数据管理平台

《数据管理平台》由会员分享，可在线阅读，更多相关《数据管理平台（20页珍藏版）》请在金锄头文库上搜索。

1、文档编号：GM-YFZX-Temp-27文档密级：内部公开数据管理平台产品需求规格说明书版本号：0.2天耀宏图科技有限公司GREATMAP修订记录版本号修订记录编写人审核人日期VO.l创建邹锦辉2016-06-19V0.2修改文档格式王芳2016-06-21目录1文档介绍 11.1 文档目的 11.2 读者对象 11.3 参考文档 11.4术语与缩写解释 12产品介绍 13项目目标 13.1数据集存储 13.2数据负载均衡 23.3 数据交互 23.4 支持 GIS 数据类型 33.5接口的高扩展性 34总体架构 35产品的功能性需求 45.1 数据视图 45.1.1 服务器视图功能 54.1

2、.2 数据集视图功能 6 图层视图功能 65.2 数据提交 8 单文件提交 8 批量提交 8 断点续传 95.3 服务器设置 9够 GREATMAP 主服务设置 9 服务器启动停止 10 负载均衡 116性能需求 127外部接口需求 128软硬件环境需求 139其他需求 13够 GREATMAP1 文档介绍1.1 文档目的本文档的目的是通过对用户需求的分析，将用户需求转化为对产品需求规 格的定义，为产品的设计开发和测试提供依据。本文档范围包括：产品介绍及产品范围，产品应当遵循的标准或规范，产 品功能性需求、用户界面需求、性能需求、软硬件环境需求及其他需求等。 1.2 读者对象产品的开发设计和测

3、试人员、产品的用户（包括公司内 /外部客户）。1.3 参考文档无1.4 术语与缩写解释无2 产品介绍数据管理服务将数据预处理工具处理好的数据进行组织，根据制定的数据 发布规则，将数据部署到服务器端，并将数据和数据发布服务进行关联，从而 将数据提供给浏览终端使用，并对数据进行有效的管理。3 项目目标3.1 数据集存储一个数据集可以理解为一个数据仓库，内部可以存储任意条目的数据。够 GREATMAP数据集用一个 065535 的数字编号进行标识，其中有几个编号为固定仓库， 其它类型的数据不允许使用：RDSC_VirtualCubeCode （1）：八叉树索引数据专用RDSC_LayerCfgCod

4、e （3）：图层配置数据专用RDSC_DataSetCfgCode （2）：客户端数据工具配置专用（服务端不会存在 此数据集）RDSC_InternalShareObject （ 4）：三维客户端内部共享数据专用（服务端不 会存在此数据集）RDSC_ExternalDataSetCode （ 99 ）： 连 接 外 部 数 据 专 用 ， 如 WMTS/WMS/WMFS 等（服务端不会存在此数据集）一个数据集可以分布于多个 Globe 服务端实例上以实现数据存储与发布服 务的负载均衡。3.2 数据负载均衡Globe 允许多个服务端进程实例同时提供数据服务，一个服务端实例，用 IP:Port 进

5、行标识。1. 一台实体服务器硬件，可以有多个服务端实例同时提供数据服务2. 多台实体服务器硬件，可以有各自的服务端实例同时提供数据服务 数据负载均衡的作用，就是让数据分布在不同的服务端进程实例中，让每 一个服务端进程实例尽量均衡地承载数据访问压力；同时数据可以冗余分布， 也可以非冗余分布以保证数据服务的高可用性；数据负载均衡，在最初配置服 务端实例时就应该规划好，后期修改时才能不影响到前期的数据，后期修改负 载均衡配置，不得涉及到前期已经均衡配置的数据集3.3 数据交互1. 客户端数据通过数据维护工具可以上传到事先配置好的服务端实例中够 GREATMAP2. 数据维护工具也可以将事先上传到服务

6、端实例的数据删除掉3. 数据维护工具可以更新指定的数据条目4. 数据维护工具可以在服务端创建图层树结构3.4 支持 GIS 数据类型数据平台需要具备支持常用 GIS 数据的存储与服务，包括以下三种数据类 型：影像数据地形数据模型数据3.5 接口的高扩展性该项目除了实现上述基本数据服务需求之外，应该确保接口的高扩展性， 以支撑未来各种应用场景的自定义数据服务实现，主要包括两个层次的模块接 口设计： C+层DataKeeper模块接口设计 COM层GMDataKeeper模块接口设计4 总体架构架构视图如图所示，该项目聚焦于数据服务层，从数据维护工具应该具备 的功能需求开始，逐层梳理现有的模块与接

7、口，根据业务需求重新进行架构设 计，提高数据服务框架的可扩展性与可复用性。GMGlobe模型图层GMGlobe影像图层GMGlobe地形图层展示层DataKeeper数据维护工具NetWorkService网络通信组件DataSerivcePlatform后台数据服务端PreProcessorTileBuilderToolTileBuilderTool数据生产层模型预处理工具影像预处理工具地形预处理工具数据服务层图 4-1数据定义：记录是以 ID、Object 的形式存储的，数据集里存放着 N 条记录， ID 描述 了 Object 的类型，唯一标识与所在数据集号； Object 有一种特殊类

8、型叫图层， 它可以包含对象，也可以包含图层， Object 数据对象支持嵌套，数据物理存储 格式为 Bson 格式。5 产品的功能性需求无5.1 数据视图数据视图包括两个层次，第一个是粗粒度的视图，包括服务器视图，数据 集视图，图层视图，第二个是细粒度的视图，主要是粗粒度视图中的数据集或 图层对象所包含的最基本的瓦片数据集合或模型数据集合的数据展示。数据从粗粒度视图角度来看，有三种组织结构，因此数据视图功能模块至 少应该包括三个视图的功能子模块：以服务器组织以数据集组织CREATMAP以图层组织5.1.1 服务器视图功能可以通过树视图查看每个服务器节点上的数据集存储分布，双击每个数据 集可以展

9、示数据列表视图并能通过列表视图进行单条记录的查找、单条记录 / 批量记录 /全部记录的删除，以及列表视图翻页等常用功能。由于目前查找记录功能只支持 ID 方式查找，可以考虑为每个记录添加名 字属性来支持查找，比如模型数据应用场景可以通过名字属性来删除一些目标 模型从而支持场景编辑。报务器视圏与白.服务器节点& g-Q 8080 d&2:2J dsl:l ds3:3j modellOldOl j dom250:250Q DomDs:200：l_J modelDS:110口口 8081；I 1 modelDSHO图 5-16 500 71= 1A924D1A6 500 7F2978A6B40242

10、3340A5EAE8W4C9F703000000000065007F3书B36C8E366B2钳8E 55C62658311D040000000000I操作查找|筛选：|所有埶据_d 提交移瞳|厂全部移除回回口口口口口口口口口回口回回口口回图 5-25 / 174.1.2 数据集视图功能数据集视图可以清晰展示每个数据集对应存储的服务器节点，但是这个视 图功能目前没有展示出数据集在节点上的负载配置，并且双击某个服务器节点 弹出的数据列表视图无任何数据记录。图 5-34.1.3 图层视图功能图层视图支持图层创建、图层删除以及图层更新，对于每个图层节点支持 图层的创建、删除、图层名修改、数据集增加以

11、及数据集复制与粘贴。目前平台设计思路是在提交目标数据集到服务器节点时会自动以数据集 文件名为图层名创建一个图层添加到 RDSC_LayerCfgCode=3 对应的图层数据 集中，因此可以看到存在 XX.GMCT 后缀的图层。每个图层是对子图层 DOMDEMVCUBE 类型数据集的引用，因此图层视 图功能需要支持以上各种图层与数据集关联的功能。 数据集增加 /关联就是将某 个数据集关联到目标图层，但是必须是同类型的数据集与图层的关联，比如不 能将模型数据集关联到影像图层；同理数据集复制与粘贴功能是在同类型图层 节点之间的编辑操作，跨类型图层节点之间不支持此类操作，目前数据维护工 具并无相关校验

12、逻辑与易用性提示。图 5-4同样双击目标图层节点能通过数据列表视图进行展示，并提供单条记录 /批量记录从图层引用列表中移除。數拥类型數拥ID01JZ0006-GEODE01JZ0012-GEODEOUZOOOS-GEODE01JZ0015-GEQDE01JZ0014-GEODE01JZ0013-GEODEOUZOOIO-GEODEOUZOOOZ-GEODE01JZ0001-GEODE01JZ0003-GEQDE01JZ0007-GEQDE01JZ0004-GEODE01JZ0005-GEQDE01JZ0009-GEQDE 01JZ0011-GEODE o 1JZ0006-GEQDE6E003F

13、48D67BC5DF4g804E920B88226F46ED 3600000000006E003FDD72A 3421A8AD 74D9D40121ECE6C 328600000000006E003FE641BDD0A0D7E545A74E7C1CB3E6A23800000000006E003FD97FD7090086624CB69B5FBE9BDBE53D00000000006E00 3F49 54D27F 兀匚 F8 54DA78 74A8B 7EACC18C00000000006E003FDCBBDC867B61274696ACE13C51135E1D0000000000A9B5FFF4

14、9A94E8C546D1j8SB840000000000 6E003F1001C6DD69B30D4BBC62CA6C 547879C70000000000刪除图 5-5GREATMAP5.2 数据提交4.2.1 单文件提交数据提交包括数据记录的增加与更新，同时需要支持用户任意选择或全部 数据的提交。整个提交业务流程是根据每条记录 ID 中的 DataSetCode 数据集编 码，找到该数据集对应的服务器进程，因负载配置的不同因此可能是多个服务 器进程，然后提交到对应的服务器节点。查找全部増仙三提交HD.片.片.斤n n n nu n n .片n n n nu n n n s亠恙亠恙亠恙-R -R -R -R -R -R亠恙亠恙-R -R -R -R -R -