《大数据时代的地震勘探软件平台-课件》由会员分享，可在线阅读，更多相关《大数据时代的地震勘探软件平台-课件（71页珍藏版）》请在金锄头文库上搜索。
1、中国石化石油物探技术研究院2016年5月24日12提纲nnnn-Frame平台概况-Frame1.0主要功能-Frame平台技术特色-Frame平台未来发展23-Frame平台概况-Frame地震软件平台由中国石化组织研发，面向大数据时代油气地震勘探技术发展与应用需求的新一代地震数据处理解释软件平台是国际石油工业与地球物理业界第一个基于Hadoop大数据技术体系构建的大型地震勘探软件平台-Frame34-Frame平台概况项目背景海量地震数据管理和超大规模并行计算对油气勘探软件架构提出了新挑战，对地球物理勘探软件平台提出了更新换代的要求。基于强大的需求与信息技术发展带来的机遇，中国石化组织研发
2、了面向未来业务需求的新一代地震数据处理解释软件平台。MEMS检波器单点高密度地震宽方位采集多源地震多分量微地震实时监控高性能计算技术发展：多核CPU、GPU分布式存储大数据技术（Hadoop）45-Frame平台概况研发历程开始地震数据处理（批处理与交互）功能开发完成关键技术验证选型与基础平台关键功能开发开展Hadoop技术验证，完成软件平台架构设计12月正式启动-Frame项目推出-Frame 1.0地震处理系统完成平台测试，完善平台与处理功能2013年2012年2011年2010年2015年2014年5-Frame平台概况-Frame 1.0发布：SEG年会，美国新奥尔良，2015年10月
3、19日667-Frame平台概况-Frame三大组成部分78-Frame 1.0主要功能-Frame1.0地震处理系统的主要功能组成1.简单、便捷的系统主控界面2.高效、易用的海量数据管理3.可视化批处理作业流程管理4.全程实时化的作业监控管理5.面向应用与用户的资源管理与服务6.地震数据浏览与分析7.工区底图与平面属性分析8.三维可视化应用9.速度分析与建模10.地震资料批处理业务功能89-Frame 1.0主要功能简单便捷的系统主控界面p项目管理p用户管理p数据管理p资源管理p模块管理p作业管理p日志管理p交互模块910-Frame 1.0主要功能高效易用的海量数据管理数据导航树与属性数据
4、历史管理1011-Frame 1.0主要功能高效易用的海量数据管理实时交互分析与校验预览于一体的地震数据导入观测系统数据加载1112帮助区流程编辑区-Frame 1.0主要功能可视化批处理作业流程管理：批处理作业流程编辑器模块选择区模块参数编辑区1213-Frame 1.0主要功能可视化批处理作业流程管理：支持多种复杂类型作业流多分支（单进多出）作业流多分支合并作业流多分支混合类型作业流1314-Frame 1.0主要功能全程实时化作业监控管理作业监控与管理作业运行全程实时监控及信息记录1415-Frame 1.0主要功能全程实时化作业监控管理作业运行信息监控与日志1516-Frame 1.0
5、主要功能面向应用与用户的资源管理服务集群与单节点系统资源监控1617-Frame 1.0主要功能面向应用与用户的资源管理服务队列管理存储配额管理1718-Frame 1.0主要功能面向应用与用户的资源管理服务：作业队列与资源调度队列优先级控制与资源抢占和退出1819-Frame 1.0主要功能地震数据浏览与分析1920-Frame 1.0主要功能地震数据浏览与分析视速度分析频谱分析交互地震道编辑初至自动拾取交互初至拾取2021-Frame 1.0主要功能工区底图与平面属性分析工区底图（炮检点分布）平面属性显示（覆盖次数）地震切片显示平面属性显示（检波点高程与静校正量）2122-Frame 1.
6、0主要功能速度分析与建模速度分析沿层速度建模网格速度建模2223-Frame 1.0主要功能速度分析与建模：近地表速度模型反演与编辑近地表速度反演与模型编辑2324-Frame 1.0主要功能三维可视化交互应用三维叠后数据体浏览三维叠前道集数据浏览初至拾取三维显示2425-Frame 1.0主要功能地震资料批处理业务功能-Frame V1.0已支持完整的常规地震数据处理流程，目前已有批处理模块100多个，交互应用模块近30个。新的模块在不断集成和增加中。2526-Frame平台技术特色-Frame定位：大数据时代的新一代地震勘探软件平台四大设计理念面向海量地震数据高效管理：PB级面向超大规模并
7、行计算：超万核级面向地震处理解释一体化面向开放共享与服务关键技术选型基于先进的大数据技术架构Hadoop2627-Frame平台技术特色Hadoop大数据技术体系支撑下的-Frame基础技术架构2728-Frame平台技术特色基于Hadoop/HDFS的海量地震数据高效管理技术海量数据管理能力：100PB级以上数据高吞吐能力、高可扩展性、高容错性、高性价比2829-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架数据剖分Map任务Map任务Map任务Map任务数据规约数据规约数据规约数据合并或清理注册历史数据并行是地震数据处理中最普遍的并行计算模式数据注册多
8、级并行：节点级，Map级，线程级，GPU核级全并行处理系统2930-Frame平台技术特色基于Hadoop/MapReduce的地震数据处理并行计算框架3031-Frame平台技术特色-Frame平台的四大特色规模大：计算机部署规模，数据管理规模，应用支撑规模速度快：分布式输入输出，并行计算，全并行化开放性：开源技术，开放平台，免费在线开发服务智能化：架构层、系统管理层、应用层、界面层3132-Frame平台技术特色特色1：规模大海量地震数据管理支撑：100+PB大规模并行计算资源支撑：1000+节点（数万数十万核）大规模用户、项目、作业支撑：4000+单作业处理数据规模大：18TB数据的分选
9、作业大规模功能扩充支撑3233-Frame平台技术特色特色2：速度快基于分布式文件系统的并行I/O带来的高吞吐能力68个节点、每个节点4块硬盘的测试系统配置，测试获得了35GB/s即约2TB/m的I/O性能，约35GB/s即200+GB/m的地震数据加载性能、常规地震批处理作业吞吐性能。全并行化批处理机制带来的大规模并行计算线性扩展能力融合并行数据I/O和并行计算、数据划分与数据备份、计算任务容错等特性支持作业并行、节点并行、Map级数据并行、多线程并行、GPU异构并行等多级并行模式3334-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问1500GB/min34数据运行环境使
10、用情况应用场景运行时间输入大小运行速率S1JX3.1TB（40个文件）300节点40个map一次导入48m20s3.1TB65.67GB/mS1JX3.1TB（40个文件）472节点40个map一次导入31m12s3.1TB101.7GB/mS1JX3.1TBYBD2TBJSB3TB（86个文件）472节点86个map并发导入41m17s8.1TB200.93GB/m35-Frame平台技术特色特色2：速度快高性能的海量地震数据存取访问：快速数据加载商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）35作业数数据量作业类型运行时间运行效率(GB/m)14个42T
11、BSORT2h28m23s289.6236-Frame平台技术特色特色2：速度快IO密集型作业：分选作业p商业软件分选作业p数据量：200GBp计算节点：单节点p运行时间：138分钟p效率：1.4GB/minp-Frame分选作业p数据量：3.1TBp计算节点：472个p运行时间：29分04秒p效率：106GB/minp-Frame分选单作业测试最大数据量：18TB66节点：SORT作业-Frame：18TB，9小时商业软件：1TB，55小时3637-Frame平台技术特色特色2：速度快66个节点：3.2TB数据记录长度：8s采用间隔：1ms总道数：100940800运行时间：13m12s24
12、5GB/min运行时间：20m54s155GB/min3738-Frame平台技术特色特色2：速度快多种类型的作业运行性能3839-Frame平台技术特色特色2：速度快地震叠前偏移模块的性能优化：KPSTM70.5小时39-Frame平台技术特色特色2：速度快地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制1.42TB/min2TB/min404041-Frame平台技术特色特色3：智能化架构智能架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复操作智能上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、合法性自动检查；资源预警与作业错误报警。管理智能资源调度、
13、执行预测、节点动态增删、运行监控等智能化的系统监控及资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。业务智能道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。4142-Frame平台技术特色特色3：智能化架构智能：架构层容错性与鲁棒性支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复4243-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：支持节点动态增删4344-Frame平台技术特色特色3：智能化数据管理的安全性和容错性：节点故障监测与自动处理发现和恢复时间2分钟以内，与磁盘容量和网络带宽相关44故障节点数作业起始-结束时间节点1故障时间节点2
14、故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)119:30:26-19:49:1919:31:531133214:50:40-15:10:4614:51:2814:52:281206315:42:23-16:04:1015:18:5615:19:3615:50:161306416:08:53-16:30:5016:09:4616:10:2216:11:0216:11:421316517:10:39-17:32:5317:11:5017:12:1017:12:3017:12:5017:13:10133445-Frame平台技术特色特色3：智能化作业管理的安全性和容错性：节点故障
15、条件下作业的正常运行测试作业：2.1TB（INPUTBPFILTEROUTPUT）45故障节点数作业起始结束时间节点1故障时间节点2故障时间节点3故障时间节点4故障时间节点5故障时间运行时间(s)015:27:0316:02:382135112:36:3613:23:3812:38:002822213:36:3614:24:1413:37:4013:39:152857311:34:2812:24:1811:35:2511:37:1011:38:452990414:29:0215:22:1814:30:1014:31:5414:33:4014:35:333196521:49:4422:42:18
16、21:51:0521:52:5021:54:2521:56:1021:57:50315446-Frame平台技术特色特色3：智能化作业管理的安全性和容错性：节点故障条件下作业的正常运行测试作业：2.1TB（INPUT+KPSTM+OUTPUT）4647-Frame平台技术特色特色3：智能化全生命周期的临时空间管理p 两种管理机制u本地临时空间uHDFS临时空间p 全生命周期管理u申请使用销毁u临时空间的预判机制u自动清除机制u作业崩溃或终止时，自动删除临时数据和输出数据4748-Frame平台技术特色特色4：开放性开源技术的广泛应用Linux操作系统、Qt图形界面开发工具、OpenSceneGraph三维可视化开发工具、Hadoop大数据处理技术平台、JSON数据交换格式、Eclipse集成开发环境、Ganglia集群资源监控工具等。保障-Frame平台的长期稳定发展。对外提供功能丰富、开放集成的软件开发包(SDK)和集成开发环境(IDE)，支持大型地震软件的开发和方法技术的软件集成。构建一个基于云服务的地球物理技术研究、软件开发与应用服务平台，提供一站式的开发服务和一体化的应用服务。
