《大数据时代地震勘探软件平台》由会员分享，可在线阅读，更多相关《大数据时代地震勘探软件平台（71页珍藏版）》请在金锄头文库上搜索。
1、中国石化石油物探技术研究院,2016年5月24日,2,提纲,nnnn,-Frame平台概况 -Frame1.0主要功能 -Frame平台技术特色 -Frame平台未来发展,3,-Frame平台概况,-Frame地震软件平台,由中国石化组织研发，面向大数据时代油气地震勘探技术,发展与应用需求的新一代地震数据处理解释软件平台,是国际石油工业与地球物理业界第一个基于Hadoop大数据,技术体系构建的大型地震勘探软件平台,-Frame,4,-Frame平台概况项目背景海量地震数据管理和超大规模并行计算对油气勘探软件架构提出了新挑战，对地球物理勘探软件平台提出了更新换代的要求。基于强大的需求与信息技术发
2、展带来的机遇，中国石化组织研发了面向未来业务需求的新一代地震数据处理解释软件平台。,MEMS检波器,单点高密度地震,宽方位采集,多源地震,多分量,微地震实时监控,高性能计算技术发展：多核CPU、GPU,分布式存储,大数据技术（Hadoop）,5,-Frame平台概况研发历程,开始地震数据处理（批处理与交互）功能开发完成关键技术验证选型与基础平台关键功能开发开展Hadoop技术验证，完成软件平台架构设计12月正式启动-Frame项目,推出-Frame 1.0地震处理系统完成平台测试，完善平台与处理功能,2013年2012年2011年2010年,2015年2014年,-Frame平台概况,-Fra
3、me 1.0发布：SEG年会，美国新奥尔良，2015年10月19日,6,7,-Frame平台概况,-Frame三大组成部分,8,-Frame 1.0主要功能,-Frame1.0地震处理系统的主要功能组成,1. 简单、便捷的系统主控界面2. 高效、易用的海量数据管理3. 可视化批处理作业流程管理4. 全程实时化的作业监控管理,5. 面向应用与用户的资源管理与服务6. 地震数据浏览与分析,7. 工区底图与平面属性分析8. 三维可视化应用9. 速度分析与建模,10.地震资料批处理业务功能,9,-Frame 1.0主要功能,简单便捷的系统主控界面,p项目管理 p用户管理 p数据管理 p资源管理 p模块
4、管理 p作业管理 p日志管理 p交互模块,10,-Frame 1.0主要功能高效易用的海量数据管理,数据导航树与属性,数据历史管理,11,-Frame 1.0主要功能高效易用的海量数据管理,实时交互分析与校验预览于一体的地震数据导入,观测系统数据加载,12,帮助区,流程编辑区,-Frame 1.0主要功能可视化批处理作业流程管理：批处理作业流程编辑器模块选择区,模块参数编辑区,13,-Frame 1.0主要功能可视化批处理作业流程管理：支持多种复杂类型作业流,多分支（单进多出）作业流,多分支合并作业流,多分支混合类型作业流,14,-Frame 1.0主要功能全程实时化作业监控管理,作业监控与管
5、理,作业运行全程实时监控及信息记录,15,-Frame 1.0主要功能,全程实时化作业监控管理,作业运行信息监控与日志,16,-Frame 1.0主要功能,面向应用与用户的资源管理服务,集群与单节点系统资源监控,17,-Frame 1.0主要功能,面向应用与用户的资源管理服务,队 列 管 理,存 储 配 额 管 理,18,-Frame 1.0主要功能,面向应用与用户的资源管理服务：作业队列与资源调度,队列优先级控制与资源抢占和退出,19,-Frame 1.0主要功能,地震数据浏览与分析,20,-Frame 1.0主要功能地震数据浏览与分析,视速度分析,频谱分析,交互地震道编辑,初至自动拾取,交
6、互初至拾取,21,-Frame 1.0主要功能工区底图与平面属性分析,工区底图（炮检点分布）,平面属性显示（覆盖次数）,地震切片显示,平面属性显示（检波点高程与静校正量）,22,-Frame 1.0主要功能速度分析与建模速度分析,沿层速度建模,网格速度建模,23,-Frame 1.0主要功能速度分析与建模：近地表速度模型反演与编辑,近地表速度反演与模型编辑,24,-Frame 1.0主要功能三维可视化交互应用三维叠后数据体浏览,三维叠前道集数据浏览,初至拾取三维显示,25,-Frame 1.0主要功能,地震资料批处理业务功能,-Frame V1.0已支持完整的常规地震数据处理流程，目前已有 批
7、处理模块100多个，交互应用模块近30个。新的模块在不断,集成和增加中。,26,-Frame平台技术特色,-Frame定位：大数据时代的新一代地震勘探软件平台,四大设计理念,面向海量地震数据高效管理：PB级,面向超大规模并行计算：超万核级面向地震处理解释一体化面向开放共享与服务,关键技术选型,基于先进的大数据技术架构Hadoop,27,-Frame平台技术特色,Hadoop大数据技术体系支撑下的-Frame基础技术架构,28,-Frame平台技术特色,基于Hadoop/HDFS的海量地震数据高效管理技术,海量数据管理能力：100PB级以上,数据高吞吐能力、高可扩展性、高容错性、高性价比,29,
8、-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架数据剖分,Map任务,Map任务,Map任务,Map任务,数据规约,数据规约,数据规约,数据合并或清理,注册历史,数据并行是地震数据处理,中最普遍的并行计算模式数据注册,多级并行：节点级，Map级， 线程级，GPU核级,全,并 行,处 理,系,统,30,-Frame平台技术特色,基于Hadoop/MapReduce的地震数据处理并行计算框架,31,-Frame平台技术特色-Frame平台的四大特色,规模大：计算机部署规模，数据管理规模，应用支撑规模速度快：分布式输入输出，并行计算，全并行化开放性：开源技术，开
9、放平台，免费在线开发服务智能化：架构层、系统管理层、应用层、界面层,32,-Frame平台技术特色特色1：规模大,海量地震数据管理支撑：100+PB,大规模并行计算资源支撑：1000+节点（数万数十万核） 大规模用户、项目、作业支撑：4000+,单作业处理数据规模大：18TB数据的分选作业,大规模功能扩充支撑,33,-Frame平台技术特色特色2：速度快,基于分布式文件系统的并行I/O带来的高吞吐能力68个节点、每个节点4块硬盘的测试系统配置，测试获得了35GB/s即约2TB/m的I/O性能，约35GB/s即200+GB/m的地震,数据加载性能、常规地震批处理作业吞吐性能。,全并行化批处理机制
10、带来的大规模并行计算线性扩展能力融合并行数据I/O和并行计算、数据划分与数据备份、计算任务,容错等特性,支持作业并行、节点并行、Map级数据并行、多线程并行、GPU,异构并行等多级并行模式,34,-Frame平台技术特色特色2：速度快,高性能的海量地震数据存取访问,1500GB/min,35,-Frame平台技术特色特色2：速度快,高性能的海量地震数据存取访问：快速数据加载,商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）,36,-Frame平台技术特色特色2：速度快IO密集型作业：分选作业,p商业软件分选作业 p数据量：200GB p计算节点：单节点 p运行
11、时间：138分钟 p效率：1.4GB/min,p-Frame分选作业 p数据量：3.1TB p计算节点：472个 p运行时间：29分04秒 p效率：106GB/min,p-Frame分选单作业测试最大数据量：18TB66节点：SORT作业-Frame：18TB，9小时商业软件：1TB，55小时,37,-Frame平台技术特色特色2：速度快66个节点：3.2TB数据记录长度：8s采用间隔：1ms总道数：100940800,运行时间：13m12s245GB/min,运行时间：20m54s155GB/min,38,-Frame平台技术特色特色2：速度快,多种类型的作业运行性能,39,-Frame平台
12、技术特色特色2：速度快,地震叠前偏移模块的性能优化：KPSTM,70.5小时,-Frame平台技术特色特色2：速度快,地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制,1.42TB/min,2TB/min40,41,-Frame平台技术特色特色3：智能化,架构智能,架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复,操作智能,上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、,合法性自动检查；资源预警与作业错误报警。,管理智能,资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。,业务智
13、能,道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。,42,-Frame平台技术特色特色3：智能化,架构智能：架构层容错性与鲁棒性,支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复,43,-Frame平台技术特色特色3：智能化,数据管理的安全性和容错性：支持节点动态增删,44,-Frame平台技术特色特色3：智能化,数据管理的安全性和容错性：节点故障监测与自动处理,发现和恢复时间2分钟以内，,与磁盘容量和网络带宽相关,45,-Frame平台技术特色特色3：智能化,作业管理的安全性和容错性：节点故障条件下作业的正常运行,测试作业：2.1TB（INPUTBPFILTEROUT
14、PUT）,46,-Frame平台技术特色特色3：智能化作业管理的安全性和容错性：节点故障条件下作业的正常运行,测试作业：2.1TB（INPUT+KPSTM+OUTPUT）,47,-Frame平台技术特色特色3：智能化,全生命周期的临时空间管理,p 两种管理机制,u本地临时空间,uHDFS临时空间,p 全生命周期管理u申请使用销毁,u临时空间的预判机制 u自动清除机制,u作业崩溃或终止时，,自动删除临时数据和 输出数据,48,-Frame平台技术特色特色4：开放性,开源技术的广泛应用,Linux操作系统、Qt图形界面开发工具、OpenSceneGraph三维可视化开发工具、 Hadoop大数据处
15、理技术平台、JSON数据交换格式、Eclipse集成开发环境、 Ganglia集群资源监控工具等。保障-Frame平台的长期稳定发展。,对外提供功能丰富、开放集成的软件开发包(SDK)和集成开发环境(IDE),，支持大型地震软件的开发和方法技术的软件集成。,构建一个基于云服务的地球物理技术研究、软件开发与应用服务平台，,提供一站式的开发服务和一体化的应用服务。,形成开放的地震专业软件社区，实现集技术交流、成果分享、需求发布 和技术交易于一体的用户互动，最终建立基于“共建、共享、共赢” 发展理 念的石油物探软件生态系统(生态圈)。,49,-Frame平台技术特色-IDE集成应用开发环境, 批处理
16、模块代码模板 交互应用开发向导 模块示例工程,模块开发向导, 参数(JSON)可视化编辑器 参数文件的自动校验,批处理模块可视化参数 编辑, 应用集成帮助手册, 应用帮助手册生成工具,集成帮助系统, 批处理模块编译、自动部署 交互应用本地调试,开发辅助功能 代码格式化,50,-Frame平台技术特色,支撑一站式开发服务的地震集成应用开发环境,-SDK -IDE,-Tools,验证环境,51,-Frame平台技术特色-SDK地震软件开发包,3000+项API,52,支持C、C+、Fortran、CUDA等编程语言,-Frame平台技术特色基于Eclipse的-Frame集成开发环境（ -IDE）基于Eclipse插件机制的PIIDE Plug-in,53,-Frame平台技术特色,-IDE集成应用开发环境：批处理模块开发模板,54,-Frame平台技术特色,
