《面向时空大数据的GIS技术探索与实践-地理资源所博士后年会-wangsh0125 》由会员分享，可在线阅读，更多相关《面向时空大数据的GIS技术探索与实践-地理资源所博士后年会-wangsh0125 （58页珍藏版）》请在金锄头文库上搜索。
1、面向时空大数据的GIS技术探索与实践,王少华 博士 合作导师 成升魁研究员 钟耳顺研究员Richard Church教授（UCSB） 中国科学院地理科学与资源研究所 2015年1月25日,地理资源所博士后学术年会,内容提纲,1,面向时空大数据的GIS技术概况,GIS是20世纪最伟大的地理技术发明，在地理学的历史上没有任何其他技术发明能够像GIS产生如此大的社会影响。 GIS的两大基石：信息技术和地理学。,有学者认为：近来地理学对GIS发展贡献较小； GIS推动地理学发展。,IT每一个发展都对GIS产生影响！,Information Technology,Geography Cartograph
2、y (Spatial thought),GIS Technology,GIS技术的两个基石,GIS角色的演进,图自 钟耳顺.地理控制与实况地理学-关于GIS发展的思考.2013,中国GIS发展的机遇,国家政策对地理信息产业发展的支持 国务院办公厅关于促进地理信息产业发展的意见、国家测绘局国家地理信息产业发展规划(2014-2020) 、国务院批复全国基础测绘中长期规划纲要（2015-2030年）、国务院关于促进云计算创新发展培育信息产业新业态的意见、国务院关于促进大数据发展的行动纲要 国家安全对GIS国产化的需求 中国GIS技术和应用已经处在先进水平 未来5年国际GIS飞速发展,中国GIS发展
3、挑战,国际GIS发展潮流 引领GIS（技术术语；新概念与理论的发展） 中国（关注更多的技术和软件工具） 国际GIS产品和技术 ESRI、 MapBox 、CartoDB等 新兴技术 大数据、移动互联网、物联网、BIM、社会计算等,王尔琪，王少华.未来GIS发展的技术趋势展望.测绘通报.2015-12,大数据时代真的来了,数据开放 不是关注数据本身，而是数据本身的价值 技术开放 关注的是技术解决问题 研究开放 跨领域、跨学科、跨界 业态开放 方法库、模型库和生态链等,GIS + Big Data,大数据 4V (Volume、Variety、Velocity、Value) 核心是通过大数据发现规
4、律。 地理数据就是一种大数据。 地理数据与其他数据融合分析。 如胡焕庸线/浮动车信息分析/社交网络。 “大数据GIS”：体量、流质、异构、不确定性和价值发现,图自：钟耳顺 GIS的发展及对地理学的影响. 2014,图自：http:/ 测量与调查 志愿者制图 自动传感器 社会化网络 ,RS,Social,免费下载,时空大数据技术解决问题,处理规模巨大概率数据模型起不到太大作用数据集,处理复杂不连贯、很难归并成正交形式以及获取代价较昂贵数据集，结合时空大数据特征根据某数据挖掘算法，能为某个行业提供服务,位置和时间属性为关键信息的大数据，将时空大数据的方法和应用服务于以时空大数据为关键信息的地理国情
5、监测、物流、环境监测、交通、资源等领域。,蔡文文、王少华、王尔琪.时空大数据处理技术研究现状综述.地理信息世界.2015.12,时空大数据技术,以时空为主线进行信息空间重建 从时空的“大”尺度认知信息模式 从时空的“大”视野整合利用资源,王尔琪. 时空大数据技术的社会化应用实践.2015-12,时空大数据研究进展,Hadoop系列 Hadoop-GIS，A High Performance Spatial Data Warehousing System Over MapReduce SpatialHadoop：A MapReduce framework for spatial data Spa
6、rk系列 SpatialSpark：Big Spatial Data Process using Spark GeoSpark：A Cluster Computing System for Processing Large-Scale Spatial Data magellan：Geo Spatial Data Analytics on Spark 集成技术系列 CyberGIS：CyberGIS Software Integration for Sustained Geospatial Innovation GeoWave：Geospatial indexing and analysis o
7、f a sorted key-value datastore GeoMesa： Scaling up Geospatial Analysis 时空大数据会议 BigSpatial2015：http:/www.cse.buffalo.edu/chandola/workshops/bigspatial-2015/program.html BigSpatial2014：http:/www.cse.buffalo.edu/chandola/workshops/bigspatial-2014/program.html,王少华.时空大数据研究进展.2016-01,基于Hadoop的GIS开发工具(http
8、:/esri.github.io/gis-tools-for-hadoop/）,GIS Tools for Hadoop 技术框架图,全球地震数据分析图,空间大数据解决方案(https:/ F., Aji, A., Liu, Q., & Saltz, J. (2011). Hadoop-GIS: A high performance spatial query system for analytical medical imaging with MapReduce.,SpatialHadoop,美国明尼苏达大学计算机科学与工程学院开发 http:/spatialhadoop.cs.umn.ed
9、u/ 数据集 源码、论文、虚拟机等开放,SpatialHadoop集群：1个master，N个slave,分层设计：语言层、空间操作层、MapReduce层和存储层,三类人与SpatialHadoop的交互： 开发者、一般用户、系统管理员,基于Apache Accumulo的时空索引:/ngageoint.github.io/geowave/),GeoWave 总体技术架构图,GeoWave 应用案例图,可扩展的时空数据库和分布式计算框架 (http:/www.geomesa.org/）,技术体系融合框架图,基于geomesa的空间分析,开源数据处理引擎和高性能应用开发工具(http:/geo
10、trellis.io/）,实时处理框架图,1770271 x 910139 5.8 TB,实况GIS（LiveGIS）,实况GIS = GIS + 物联网 + 大数据 + 云计算,图自 钟耳顺.地理控制与实况地理学-关于GIS发展的思考.2013,2,开源跨平台地理信息桌面系统- iDesktop Cross,空间数据 处理和可视化,三维研究应用,行业应用 系统定制,谁需要跨平台桌面产品？,iDesktop Cross 简介,全开源、跨平台、可开发的桌面GIS应用与开发平台,平面制图,数据转换,数据处理,三维展示,定制开发,统一GIS内核（UGC）,基于标准C+的跨平台技术方案图,Java,U
11、GC,iDesktop Cross,全开源、跨平台、二三维一体化,深度定制,启动画面,Logo,主题颜色,字体,界面布局,功能,在OSChina上进行开源分布式管理,3,开放地理信息脚本引擎-GIScript,开放地理信息脚本处理系统,开放地理信息脚本处理系统,Python,UGC,GIScript,导入数据,导入数据案例 导入矢量数据 导入栅格数据,导入数据,导入数据案例 命令行 cd GIScript2015/tested ./run.sh t_dataimport.py,海量遥感影像数据处理,全球GeoTIFF影像数据案例 数据量 分幅数据，数据量约2.67TB。数据分为南北半球，各占1
12、-60分带，每个数据集的大小在200MB7GB不等,海量遥感影像数据处理,全球GeoTIFF影像数据案例 数据 北半球的GeoTIFF影像的轮廓图在SuperMap iDesktop，标注相关带号名称,海量遥感影像数据处理,全球GeoTIFF影像数据案例 案例方法 基于开源OpenStack私有云平台技术，将服务器资源池化管理，然后虚拟多台云主机，将GIScript脚本部署到云主机中，实现Scale-out横向扩展，提高导入效率,海量遥感影像数据处理,全球GeoTIFF影像数据案例 影像导入结果,王少华.面向时空大数据的开放式地理信息脚本引擎关键技术研究. 2015国际地理信息科学研讨会.20
13、15.10,4,面向时空大数据的地图慧简介,如果你有这样的数据？,一列地区 一列数值,No2.你是否有这样的困惑？,手里有一堆地址表，但不知道具体分布在哪,这么多地址，该怎么分配管理呢？总不能一个人跟踪吧！,选择地图模板，一键生成地图,43, 门户网站,制图需要的三大类模板：,No1.统计地图模板,No2.业务地图模板,No3.高级地图模板(体验),案例展示销售统计,中粮白酒在全国的销售额分布 颜色越深代表销售额越高,案例展示广东海珠区房价,标签直接显示房价信息，只要有地址，批量上传就OK,案例展示来自一位公交迷的湖北公交路网地图,持续收集，持续更新，对数据有兴趣的都可以直接给作者留言,数据融
14、合分析,基于消费者行为信息的商业地理选址分析系统,地图慧，多渠道的数据资源.,根据网点的空间分布位置，进行快速插值和分析门店实体的影响区域。,网点范围,范围内企业,根据门店负责范围，统计区域内的企业数量并生成分段设色、等级符号统计图。,总家庭户数统计,总人口统计,统计人口,范围内大学,根据门店负责范围，统计区域内的大学（含专科院校、成教等）数量。,浦东新区2010年人口,可根据客户分布，选取可辐射范围内的最佳中心点。,位置 分析,可根据已有网点分布情况，计算网点重复覆盖区域，进行合理规划网点。,B大厦附近,参考致谢,1.钟耳顺.地理控制与实况地理学-关于GIS发展的思考.2013 2.钟耳顺.
15、 GIS的发展及其对地理学的影响.2014. 3.钟耳顺.论地理思维之重要性.2015. 4.王康弘.地理智慧+云计算+大数据（地图慧商业生态）.2015-09. 5.王尔琪.影响未来GIS发展的六大技术趋势.2015-09. 6.颜永威. 当大数据遇见地图.2015-09. 7.超图研究所.时空大数据研究报告（20150827版）. 8.王少华.地理信息技术之美.2015. 9.王少华. 面向时空大数据的GIS技术探索与实践（2015-09）. 10. 蔡文文，王少华等. SpatialHadoop简介及其应用（2015-12）. 11.王少华.面向时空大数据的开放地理信息脚本关键技术.(2
16、015-11). 12.王尔琪，王少华.未来GIS发展的技术趋势展望.测绘通报.2015-12. 13.王少华.面向时空大数据的开放式地理信息脚本引擎关键技术研究.2015国际地理信息科学研讨会.2015.10,2016年大数据发展十大趋势,1. 可视化推动大数据平民化 2. 多学科融合与数据科学的兴起 3. 大数据安全与隐私令人忧虑 4. 新热点融入大数据多样化处理模式 5. 大数据提升社会治理和民生领域应用 6. 促进大数据发展行动纲要驱动产业生态 7. 深度分析推动大数据智能应用 8. 数据权属与数据主权备受关注 9. 互联网、金融、健康保持热度，智慧城市、企业数据化、工业大数据是新增长点 10. 开源、测评、大赛催生良性人才与技术生态,
