《《大数据》配套PPT之十一第10章 行业大数据课件》由会员分享，可在线阅读，更多相关《《大数据》配套PPT之十一第10章 行业大数据课件（63页珍藏版）》请在金锄头文库上搜索。
1、,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,大数据,刘鹏主编张燕张重生张志立 副主编,BIG DATA,刘 鹏,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,62,3,10.1地震大数据,第十章 行业大数据,美国地质调查局（USGS）启动了8个新的研究项目，目标是重新评估发生在所有主要板块边界和板块内部环境的地震等级、发生频率和震级分布，以及最大震级，以改进地震预警（测）模型，并使美国的灾害评估建立在更为强大的全球数据及其分析基础之上。,高新技术和信息技术的发展，一直推动地震观测技术的进步。,在移动互联网和物联网时代，微机电传感器（MEMS）技术和互联网智
2、能技术使地震观测设备也遵循大数据产生的规律，即从精密到简单，从笨重到智能、从昂贵到低廉、从量少到量大。,这完全是适应了地震预警和烈度速报应用需求，催生了密集地震观测网，也将地震行业带进了大数据时代。,of,4,10.1.1 大数据时代和地震,62,第十章 行业大数据,10.1地震大数据,1地震烈度速报,汶川特大地震,地震烈度速报,烈度速报就是在破坏性地震发生时能够快速给出不同地区的烈度分布情况。,震动图（ShakeMap）,图10-1 山西地震台网的观测烈度速报,图10-2 2013年12月14日12时06分日本千叶近海5.5级地震烈度速报图,of,5,10.1.2 密集地震观测网将地震带进大
3、数据时代,62,第十章 行业大数据,10.1地震大数据,2地震预警,汶川地震 日本311地震,“Earthquake Early Warning” “地震报警或地震警报”,震源,地震仪,1,2,3,4,of,62,6,10.1.2 密集地震观测网将地震带进大数据时代,第十章 行业大数据,10.1地震大数据,3MEMS传感器烈度计和智能设备,中国地震局在发改委的支持下，在下一代互联网地震应用的开发项目中，开发了一系列移动互联网应用技术。,特别是以智能手机为基础结合MEMS技术开发了地震烈度计和动态地震烈度网技术，这种技术可以适合大量密集地震观测网的布设。,图10-4 MEMS烈度计和移动互联网传
4、递地震信号,MEMS传感器地震烈度计技术和移动互联网技术结合使密集地震观测网技术得以实现。,四川成都高新减灾研究所生产的MEMS地震预警台站设备,中国台湾生产的MEMS地震预警台站设备,of,7,10.1.2 密集地震观测网将地震带进大数据时代,62,第十章 行业大数据,10.1地震大数据,4密集地震观测网将地震带入大数据时代,如上所述，密集地震观测网完全遵循了大数据产生的规律，从精密的传统地震仪到简单的MEMS烈度计，从昂贵的设备到廉价的MEMS设备，从高精度仪器到智能化的设备，从100200千米稀疏的量少台站到10千米左右量大的密集地震观测网。,地震观测的数据从小数据变成了大数据。所以，密
5、集地震观测网将会把地震带进大数据时代。,of,62,8,10.1.2 密集地震观测网将地震带进大数据时代,第十章 行业大数据,10.1地震大数据,图10-6 成都市和中国台湾密集地震观测网,图10-7 环境猫室内环境探测器和日本家庭地震报警器及工作流程,of,62,9,10.1.3 地震大数据一定是巨量数据,第十章 行业大数据,10.1地震大数据,地震小数据,仪器精密昂贵,观测技术复杂,地震台网稀疏,地震大数据,无法使用,数据量大,纷杂、混乱,无法处理,采用因果关系范式,前兆异常度,使用大数据关联方法地震前兆异常度的研究表明：地震前兆观测数据是和构造体有关的，它们是相关联的。汶川地震前前兆异常
6、度的变化，和巴颜克拉块体有关联，这和各方面研究成果是一致的。,图10-8 地震前兆异常度,of,62,10,10.1.4 地震大数据找关联,第十章 行业大数据,10.1地震大数据,小数据时代，在数据的限制无法突破的情形下，数据处理算法的研究越来越深入，发明的算法越来越复杂。,当数据量以指数级扩张时，原来在小数量级的数据中表现很差的简单算法，准确率会大幅提高；大数据的简单算法比小数据的复杂算法更有效。,极其简单的地震参数处理,“着未着法”,of,62,11,10.1.5 地震处理从复杂到简单-从“复杂算法”到“简单算法”,第十章 行业大数据,10.1地震大数据,传统地震台网处理和决策都非常慎重，
7、通过收集和分析数据来验证这种假设；如果有一些数据有问题，就影响原有假设，决策与行动是审慎的。小数据的地震速报可以较快地进行自动速报，但是处理复杂，要多中心审慎决策，特别是终报更需要审慎决策。原因是小数据依靠模型解算方程，由于空间数据间隔太大，往往初值确定度准确，大量计算可能仍然得不到可高的结果，必然影响快速决策。,密集地震台网的大数据，不再受限于传统的方式，在密集的大数据中可以简单而准确地得到地震发生在哪里、多大，无须一而再地检查和复核，足以做出快速决定，地震预警的警报可以在数秒发出，地震烈度速报可以在几分钟就发出。快速决策无疑对于大地震的减轻灾害和挽救生命无疑具有重要的意义。,of,62,1
8、2,10.1.5 地震处理从复杂到简单-从“审慎的决策”到“快速的决策”,第十章 行业大数据,10.1地震大数据,1密集地震观测网带来的创新,从传统的精密昂贵的地震台站到密集地震观测网的，从精密的传统地震仪到简单的MEMS烈度计，从高精度设备到智能化的仪器，从量少到量大，这样地震台网完全遵循大数据产生的规律。,图10-10 动态监视地下活动,图10-11 动态“地下云图”,of,62,13,10.1.6 大数据推进地震新模式和新业态,第十章 行业大数据,10.1地震大数据,2大数据为探寻地震前兆开辟新途径,图10-12 地震前兆效能图,现代高新技术和互联网发展迅猛，各种新型传感器和信息技术，可
9、以为地震前兆提供廉价的设备，为加密观测提供了条件，将推进地震科学的创新。,of,62,14,10.1.6 大数据推进地震新模式和新业态,第十章 行业大数据,10.1地震大数据,3大数据支撑地震应急救援,“互联网+地震”,图10-13 2015年四川乐山5.0级地震人口热力图,图10-14 大数据和微信平台地震应急救援指挥,图10-15 海地地震大数据人口流动分析,of,62,15,10.1.6 大数据推进地震新模式和新业态,第十章 行业大数据,10.1地震大数据,4物联网大数据的地震应用,物联网,可穿戴设备,智能终端,温度,传感器,声音,位置,气压,磁场,压力,气体,电磁辐射,UP手环,手环地
10、震惊醒记录曲线,手环惊醒“震动图”,物联网的各种传感器大数据实际上会反映地球上物理、化学、生物的各种变化，探索和挖掘物联网大数据，发现和地震现象的关联，争取地震学新发现，将给地震学带来新的发展前景。 从地震烈度速报和预警到密集地震观测网络，从密集地震观测网络在到地震大数据，这是时代的发展，这就是大数据地震科学和技术带来的新模式和新业态。,of,62,16,10.1.6 大数据推进地震新模式和新业态,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,62,17,10.2.1 智慧交通与大数据,10.交通大数据,第十章 行业大数据,在交通领域，海量的交通数据主要产生于各类交通的运行
11、监控、服务，高速公路、干线公路的各类流量、气象监测数据，公交、出租车和客运车辆GPS数据等，数据量大且类型繁多，数据量也从TB级跃升到PB级。 在广州，每日新增的城市交通运营数据记录数据超过12亿条，每天产生的数据量为150G300GB。,of,62,18,10.交通大数据,第十章 行业大数据,第一，大数据提供环境监测方式。,第二，大数据拥有信息集成优势和信息组合效率。,第三，大数据的智能性可以合理配置公共交通资源。,第四，提高交通安全水平。,of,62,19,10.2.2 大数据应用交通的意义,10.交通大数据,第十章 行业大数据,1智能交通系统中的交通数据,交通流量监测系统,信息控制系统,
12、高清视频监控系统,车辆违法时间、地点、违法代码、类型、违法时车速、车牌全景照片、车牌照片,道路通行能力、车辆数量、行车导向标志信息、限速标志信息、环境因子信息和异常事件等,时间顺序排列,匹配模型,of,62,20,10.2.3 交通大数据中的数据挖掘技术,10.交通大数据,第十章 行业大数据,2智慧交通系统中数据挖掘的系统模型,智慧交通系统采集的交通数据种类很多，且交通数据具有异构多、层次多的特点。 在各种智能交通应用系统中，交通数据挖掘来源于不同类型的操作数据库，且获得的数据需要通过清洗、装载、转换等一系列处理，整合到智慧交通的数据库。 数据挖掘在基于此数据库的大数据平台上，实现众多深度挖掘
13、的功能，常见的有分类、聚类、关联算法等。,图10-17 传统交通大数据挖掘的系统模型,of,62,21,10.2.3 交通大数据中的数据挖掘技术,10.交通大数据,第十章 行业大数据,通过对交通数据进行宏观或微观的分析、统计和推理，分析不同属性因子之间存在的显性和隐形关系，利用现有的数据推断和预判未知的数据。数据挖掘是将人们对于交通信息的处理从最基本的查找、删改提高到了预测、预判。城市交通规划、交通管理、事件信息管理等都可以广泛使用数据挖掘。,of,62,22,10.2.4 大数据挖掘技术在智能交通中的应用,10.交通大数据,第十章 行业大数据,1简介,河北交通卡口数据研判分析系统充分利用交管
14、局卡口系统建设成果，将各卡口采集的车辆号牌基础数据实时传送到公安网内，整合各类警务信息资源，通过集中整合整理、海量关联查询、多维智能比对、综合分析研判、信息对流互动等，供情报中心实现对被盗抢机动车、涉案嫌疑机动车、交通肇事逃逸车辆、重点管控车辆等黑名单车辆的实时查控和对“人、案、车”的研判分析，实现科技强警，向科技要警力的目标，对“护城河”工程和全省治安防控体系进行补充和完善，实现网上作战、智能分析等现代警务机制的创新发展。,2设计原则,1）前瞻性技术与实际应用环境相结合,2）学习借鉴国外先进技术与自主创新相结合,3系统基本组成和构架,该共享平台由7个主要部分组成：历史数据汇总处理系统、上报数
15、据上报系统、实时数据入库系统、交管数据存储系统、交管数据查询分析应用系统、数据管理系统及系统管理。,在基础设施构架上，该系统将构建在云计算平台之上，利用现有的计算资源、存储资源和网络资源，作为云平台的基础设施和支撑平台。,of,62,23,10.2.5 河北交通卡口数据分析系统,10.交通大数据,第十章 行业大数据,4系统架构,图10-19 交通云平台总体架构与功能模块图,of,62,24,10.2.5 河北交通卡口数据分析系统,10.交通大数据,第十章 行业大数据,5交管卡口数据入库功能与处理方案,图10-20 交管卡口数据入库系统总架构图,of,62,25,10.2.5 河北交通卡口数据分
16、析系统,10.交通大数据,第十章 行业大数据,6数据存储功能与处理方案,图10-21 数据存储系统架构图,of,62,26,10.2.5 河北交通卡口数据分析系统,10.交通大数据,第十章 行业大数据,7查询分析功能与处理方案,图10-22 交管卡口数据架构图,of,62,27,10.2.5 河北交通卡口数据分析系统,10.交通大数据,第十章 行业大数据,8项目成果,of,62,28,10.2.5 河北交通卡口数据分析系统,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,61,29,10.3环境大数据,第十章 行业大数据,互联网技术、物联网技术,巨大发展前景,迅猛发展,环境信息化,高速发展期,国家环保部门,重视,通过方案,积极建设,环境数据服务和环保云平台,国家发展
