《ArcGIS实时大数据-GeoEvent Server》由会员分享，可在线阅读，更多相关《ArcGIS实时大数据-GeoEvent Server（71页珍藏版）》请在金锄头文库上搜索。
1、ArcGIS实时大数据-GeoEvent Server 实时GIS的演化 ArcGIS Data Store ESRI时空大数据实现原理 时空大数据的可视化 时空大数据的动态聚合 主要内容 实时GIS的演化 提供了实时GIS流数据的 接入和处理功能 流数据的实时处理 更新后的数据或者告警 信息发送给用户和其 他系统 实时GIS-ArcGIS10.2 可以接入告诉实时流数据 ，但不能存储数据 能够显示实时数据（活动 数据）但不能显示历 史数据 实时数据可视化客观存在 的困难 实时GIS-ArcGIS10.3 可以接入更高速率实 时流数据 实时数据可以保存在 Big Data Store中 可以显
2、示大容量 、高速率实时数 据 显示为聚合 显示为要素现时 数据或历史数据 显示可以伸缩 实时GIS-ArcGIS10.4 实时GIS-ArcGIS10.4 实时GIS-ArcGIS10.5 接入大容量数据 对接收到的事件进行连续分析 数据保存在spatiotemporal Big data store 可批处理分析 可对大容量数据进行可视化 显示为聚合 显示要素 实时GIS-ArcGIS10.5 ArcGIS Data Store ArcGIS10.3 Data Store通过托管数据库方式实现存储 Relational Data Store能够存储 传统的Feature Service、Ma
3、p Service等数据 增加Relational Data Store节点能够实现HA（高可用性） ArcGIS Data Store 10.3 Relational Data Store ArcGIS10.4 Data Store实现了高频率、高容量实时数据存储 Spatiotemparol Data Store用于实时数据的存储和存档 能够实现每秒几千个数据的写入 增加时空大数据 Data Store节点实现大容量数据存储 ArcGIS Data Store 10.4 Spatiotemparol Big Data Store 基于Elasticsearch的快速检索和分布式存储 -El
4、asticsearch是一个基于Apache Lucene(TM)的开源搜索引擎，使用Java 开发并使用Lucene作为其核心来实现所有索引和搜索的功能，它通过简单 的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。同时， Elasticsearch的优势还不仅如此： -分布式的实时文件存储，每个字段都被索引并可被搜索 -分布式的实时分析搜索引擎 -可以扩展到上百台服务器，处理PB级结构化或非结构化数据 时空大数据存储原理 Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构 Lucene工作原理 时空大数据存储原理 时空大数据部署策略 El
5、asticsearch介绍 ES的管理控制台插件-Head 集群（cluster） 节点（node） 索引（index） 类型（type） 文档（document） 分片（Shard） 复制（Replicas） 基本概念 Elasticsearch与关系数据概念对应关系 分区 水平分割扩展你的数据 并行操作（可能在多个节点上）从而提高性能和吞吐量 规则：shard = hash(routing) % number_of_primary_shards 复制 提供了高可用性，当节点失败的时候不受影响。需要注意的是，一个复 制的分片不会存储在同一个节点中。 扩展搜索量，提高并发量，因为搜索可以在所有
6、副本上并行的执行。 分片与复制 分片的交互过程 索引与删除一个文档 分片的交互过程 更新一个文档 分片的交互过程 检索文档 分片的交互过程 Query Phase Fetch Phase 聚合类型 Metrics(指标)为某个桶中的文档计算得到的统计信息。是简单的对过 滤出来的数据集进行avg,max等操作，是一个单一的数值。 Bucket（桶）满足某个条件的文档集合。将过滤出来的数据集按条件分 成多个小数据集，然后Metrics会分别作用在这些小数据集上。 ElasticSearch Aggregations（聚合） SELECT COUNT(color) FROM table GROUP
7、BY color MetricsBucket 聚合例子 select count(*) as user_count group by user order by user_count desc Elasticsearch与地理坐标 geo-point PUT /attractions/restaurant/1 name: Chipotle Mexican Grill, location: 40.715, -74.011 PUT /attractions/restaurant/2 name: Pala Pizza, location: lat: 40.722, lon: -73.989 PUT
8、/attractions/restaurant/3 name: Mini Munchies Pizza, location: -73.983, 40.719 Geo-point存储 geo_bounding_box : 找出落在指定矩形框中的坐标点 geo_distance : 找出与指定位置在给定距离内的点 geo_distance_range : 找出与指定点距离在给定最小距离和最大距离之间的点 geo_polygon : 找出落在多边形中的点。这个过滤器使用代价很大 通过地理坐标点过滤 地理坐标过滤器 复杂的形状 - 比如 点集，线，多边形，多多变形，中空多边形 Geohash 的集合
9、通过查看是否有相同的geohash 单元，就可以很轻易地检查两个形状是否有交 集 intersects : 查询的形状与索引形状有重叠（默认）。 disjoint : 查询的形状与索引的形状完全不重叠。 within : 索引的形状完全被包含在查询形状中。 geo-shapes 映射地理形状 查询地理形状 GeoHash原理 肚子饿了，在地图上找出离我1000米以内的所有餐馆，地图后台如何根据自己 所在位置查询来查询附近餐馆的呢？ 如何实现高效搜索？ 引子 索引字段可排序 一维字段：年龄、薪水、时间 空间点（二维）如何可排序？ 能通过某种方法将二维的点数据转换成一维的数据 GeoHash 索引
10、 GeoHash用一个字符串表示经度和纬度两个坐标，比如我现在所在位置的 GeoHash值为 wx4sv61q； GeoHash标识的并不是一个点，而是一个区域，比如 wx4sv61q 对应的就是一 个矩形区域； GeoHash特点 字符串越长，表示的范围越精确。如：5位的编码能表示10平方千米范围的矩 形区域，而6位编码能表示更精细的区域（约0.34平方千米） GeoHash特点 编码的前缀可以标识更大的区域，比如 wx4sv61 编码代表的区域要大 于 wx4sv61q 代表的区域，但是 wx4sv61q 代表的区域一定在 wx4sv61 代表的区域内。 字符串相似的表示距离相近。这样可以
11、利用字符串的前缀匹配来查询附近的 POI信息。如，一个在城区，一个在郊区，城区的GeoHash字符串之间比较 相似，郊区的字符串之间也比较相似，而城区和郊区的GeoHash字符串相 似程度要低些。 GeoHash特点 GeoHash算法过程 首先我们将纬度(-90, 90)平均分成两个区间(-90, 0)、(0, 90)，如果坐标位置的 纬度值在第一区间，则编码是0，否则编码为1 1）区间-90,90进行二分为-90,0),0,90，称为左右区间，可以确定 39.928167属于右区间0,90，给标记为1； 2）接着将区间0,90进行二分为 0,45),45,90，可以确定39.928167属
12、于左区 间 0,45)，给标记为0； 3）递归上述过程39.928167总是属于某个区间a,b。随着每次迭代区间a,b 总在缩小，并越来越逼近39.928167； 4）如果给定的纬度x（39.928167）属于左区间，则记录0，如果属于右区间则 记录1，这样随着算法的进行会产生一个序列1011100，序列的长度跟给定 的区间划分次数有关。 一、根据经纬度计算GeoHash二进制编码 bitbitminminmidmidmaxmax 1-90.0000.00090.000 00.00045.00090.000 10.00022.50045.000 122.50033.75045.000 133.
13、750039.37545.000 039.37542.18845.000 039.37540.781542.188 039.37540.0782540.7815 139.37539.72662540.07825 139.72662539.902437540.07825 维度结果经度结果 经纬度编码结果 bitbitminminmidmidmaxmax 1-1800.000180 10.00090180 090135180 190112.5135 0112.5123.75135 0112.5118.125123.75 1112.5115.3125118.125 0115.3125116.7187
14、5118.125 1115.3125116.015625116.71875 1116.015625116.3671875116.71875 bitbitminminmidmidmaxmax 1-90.0000.00090.000 00.00045.00090.000 10.00022.50045.000 122.50033.75045.000 133.750039.37545.000 039.37542.18845.000 039.37540.781542.188 039.37540.0782540.7815 139.37539.72662540.07825 139.72662539.9024
15、37540.07825 通过上述计算，纬度产生的编码为10111 00011，经度产生的编码为11010 01011。偶数位放经度，奇数位放纬度，把2串编码组合生成新串：11100 11101 00100 01111。 最后使用用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码，首先将 11100 11101 00100 01111转成十进制，对应着28、29、4、15，十进制 对应的编码就是wx4g。同理，将编码转换成经纬度的解码算法与之相反 二、组码 如要找出(40.222012, 116.248283)(GeoHash编码wx4sv61q）相距2km内的 地物，
16、我们只需要查找地物坐标对应的GeoHash以wx4sv为前缀的即可。 GeoHash Base32编码长度与精度 geohash的思想，是将所有的经纬度坐标，通过geohash，变成一个唯一的 base32标识。他将世界上的所有区域进行分块，每个维度都是32块，进而 将范围逐渐变小、变小，最后的一堆数字，就成了这个base32的唯一标识 GeoHash总结 DRT2Y 时空大数据写入 时空大数据可视化 空间聚合显示： 服务器动态计算，通过Map Service服务器端渲染 不同比例尺下显示不同详细程度 时空大数据可视化 ArcGIS server：Map Service 客户端渲染： 时空大数据可视化 ArcGIS server：Feature Service 时空历史大数据挖掘 时空数据动态聚合 当数据写入到spatiotemporal data store 不间断更新用于geohash空间聚合的空间索引 动态聚
