《工程项目管理作业-气象》由会员分享，可在线阅读，更多相关《工程项目管理作业-气象（11页珍藏版）》请在金锄头文库上搜索。
1、基于消息驱动的气象图形产品加工系统（第一作者：王慕华，从事GIS及遥感技术在公共气象服务领域内的应用。）（通讯作者：唐卫，从事公共气象服务系统开发关键技术研究，及气象大数据技术的研究与应用。）基金项目：公益性行业（气象）科研专项（GYHY）王慕华 唐卫 丰德恩 渠寒花 王阔音 鹿业涛 （中国气象局公共气象服务中心，北京，）摘要：高质量的气象图形产品是融媒体时代气象信息服务的重要载体。本文综合运用并行计算和大数据等技术，构建消息驱动的气象图形产品加工系统（WeatherStudio）。分析了公共气象服务图形产品加工共性问题，探讨了基于消息驱动的产品加工系统的优势，设计了基于消息驱动和定时驱动相融
2、合的气象图形产品加工系统的框架和功能, 并以高速公路交通气象灾害风险预警业务为应用实例进行验证，显示出了其较好的应用前景。关键词：气象图形；产品加工；消息驱动 The Message Driven Making System of Meteorological Graphic ProductsWang Muhua Tang Wei Feng Deen Qu Hanhua Wang Kuoyin Lu Yetao （Public Meteorological Service Center of CMA，）Abstract: The high quality of meteorological g
3、raphic products is important especially for the public meteorological service(PMS) in the timing of media convergence.Based on the techniques of parallel computing and big data,message driven making system of meteorological graphic products was developed,namely WeatherStudio.After analyzing the comm
4、on problems of making graphical products for PMS,it discussed the advantage of the message driven product making system.And then it focused on the overall instructure of WeatherStudio based on the message and timing dirven techniques and described the main functions in detail. The application of Wea
5、therStudio in expressway meteorological disaster risk early warning service shows its good application prospect.Key words: Meteorological graphic; Making product; Message driven引言气象图形产品是融媒体时代气象信息服务的重要载体，国内外气象部门已建设了适用于不同应用场景的气象图形产品加工系统。国际上，美国马里兰大学开发的GrADS、美国国家大气研究中心的NCAR绘图软件（赵连伟，2000，刘旭林，2009），是美国大气科
6、学研究和业务工作通用的计算机绘图工具,具有较强的专业性，但在三维图形支持( 张秀丽等，2002)和本地汉化方面（乔春贵等，2007）存在不足。美国The Weather Company公司开发的WeatherCentral软件针对影视图形图像产品制作，具有较强的产品渲染能力和较好的可视化效果，并针对部分气象业务场景实现了产品的多样化制作功能（洪萍等，2014）。国内而言，国家气象中心研发的MICAPS（气象信息综合处理系统）（李月安等，2010）和MESIS（吴焕萍, 2010，吴林林等，2013，吕终亮等，2012，郑卫江等，2015），实现了多种气象标准格式数据的交互分析、可视化和预报制作
7、 ，并且以气象预报业务逻辑为驱动，专业性较强、自动化程度较高；张振涛等人研发的基于天气事件的公共气象服务产品制作系统（张振涛等，2014），以天气热点事件为驱动，依托GIS组件、计算机图形学等技术开展产品的交互式加工。 上述系统在公共气象服务发展前期发挥了重要作用，但面对新的服务需求，在性能、质量和效率上又略显不足。公共气象服务对象多，包括公众、决策和专业用户；服务渠道多样，既包括影视传统媒体，又包括手机、网站、微博、微信等新媒体；服务领域广，包括交通（公路、铁路、航空）、森林草原火险、能源电力、海洋等；服务时效高，从分钟级到小时级的气象服务产品；图形质量要求高，融媒体及专业服务产品，对产品的
8、表现形式及质量都有不同的要求。为了适应新时代对气象图形产品的自动化、个性化、高性能、高质量、多源数据融合的要求，急需建立新一代高性能气象服务图形产品加工系统。1 基于消息和定时驱动融合的图形产品加工技术1.1基于Kafka的分布式消息传统的图形产品加工多基于定时运行的工作模式，多采用 Ftp作为数据传输手段和传统关系型数据库和文件系统作为存储介质，效率较低，在面对分钟级的雷达数据及新一代静止卫星数据加工时，无法满足客户对数据和产品实时性的要求。同时，传统的单机、单线程系统架构在性能、吞吐量和容错性等方面都存在缺陷，无法适应海量气象服务产品的加工需求。而基于消息的分布式系统具有解耦性、扩展性、冗
9、余性、高时效性和异步通信能力等优点被广泛应用在准实时性数据业务中。Apache Kafka（Apache Kafka，2016）是一种分布式的，基于发布/订阅机制的消息系统，具有可水平扩展、高吞吐率和实时性而被广泛使用。一个简单的Kafka消息系统（图1）包括三部分，消息的发布者称作生产者（Producer），消息的订阅者称作消费者（Consumer），中间的存储阵列称作代理者（Broker）。生产者将数据生产出来，推送（Push）给代理者进行存储，消费者需要消费数据时，就从代理者中拉取（Pull）数据，然后完成一系列对数据的处理。图1 简单的Kafka消息系统Fig.1 Simple str
10、ucture of Kafka message system基于Kafka的消息驱动气象图形产品加工技术框架如图2所示。多源数据集（Laps、OCF、MinCast等）作为生产者生成消息日志文件；Zookeeper作为分布式应用程序协调服务，通过设置Zookeeper心跳，实时采集日志内容生成约定的Kafka集群的消息类别（Topic）并加入发送队列，消息由生产者主动推送给代理者。三台代理服务器组成的Kakfa集群对不同消息进行接收和分布式存储管理。系统通过配置Laps、OCF、MinCast各产品加工任务相对应的消息类别，从代理拉取相应消息，进行加工任务参数解译和任务调度，从而完成消息驱动的
11、产品加工任务。图2 基于Kafka的消息驱动产品加工技术Fig.2 Message-driven product making technique based on Kafka1.2定时驱动的产品加工技术由于历史原因，很多已有的系统和数据源都没有基于消息的分布式架构实现，为了对接这些数据源和系统，采用定时驱动相补充的方式来设计图形产品加工系统。Quartz（QUARTZ，2017）是Java编写的开源作业调度框架，具有支持对应时间点和精确定义时间点两种方式的任务触发机制，支持集群部署及多种错误处理形式（如任务执行错误后下次不执行、马上重新执行、下次继续执行等），支持多种任务漏触发处理（如关机漏
12、触发、数据源未到漏触发等）等特点，在解决多源、多时效的气象服务产品定时加工任务时具有优势。Quartz主要包含调度器监听、作业及触发器监听三部分。通过重载监听类中处理函数实现具体的定时作业调度服务。调度器为框架的核心，为确保可伸缩性，Quartz 采用了基于多线程的架构。Quartz 依赖一个松耦合的线程池来管理部件及线程环境，每个对象根据业务需求都是可配置的。框架启动后，调度器初始化一套工作线程，该线程被用来执行已预定好的作业。基于Quartz的定时驱动产品加工技术，用户根据产品加工任务需求，在前台设置产品加工运行时间规律，经分析形成各类产品加工任务调度时间表达式持久化到数据库中。系统启动后
13、，Quartz根据服务器资源情况，将调度器总线程数采用3:1的分配原则分配给实时业务调度器和错误补做调度器。实时业务调度器读取数据库中的时间表达式，监听剩余时间，当调度程序监听到剩余时间小于某一临界范围时，Quartz 框架将启动具体产品加工调度类的作业函数传入相应的任务参数。如果作业失败，将该任务加入错误补做调度器线程池，根据预设的错误补做时间间隔重新作业。如果配置的作业在随后的运行中再次被调用，Quartz 框架将在预定的时间再次调用它。通过调用Quartz框架，便捷的实现了定时任务的触发、数据源未到等原因导致的漏触发、错误补做等复杂的业务逻辑，实现系统的稳定运行。2系统架构和功能2.1
14、系统架构气象图形产品加工系统（WeatherStudio）要具有对海量气象产品高效率的加工能力，尤其是针对分钟级时间分辨率的产品，要求基于消息驱动，秒级完成一张图形产品的加工；另一方面， WeatherStudio还需具备高稳定性系统架构，特别是面向实时直播类的产品加工任务，系统一旦发生故障，能够快速恢复，从而保障业务稳定运行；第三，面对融媒体的个性化需求，如图形风格、标题、图例等，WeatherStudio需具有强大的制图能力；最后，从公共气象服务产品加工业务一体化设计的角度，WeatherStudio需具有先进的、开放式的技术架构，能够适应服务需求的不断变化，达到精准化、按需气象服务的目的
15、。利用大数据分布式处理架构，并分别从以下五个方面予以具体实现：、采用Kafka分布式消息系统，实现基于消息驱动的任务触发机制，达到每秒百万级别的数据处理能力，满足分钟级产品高性能加工的要求； 、高效率体现在对产品加工服务的分层设计上，包括下层的原子服务层和上层的组合服务层。原子服务层由最小单元的业务逻辑封装而成，组合服务层由原子服务通过标准接口，按照一定的业务流程编排而成，从而实现业务解耦，高效率响应业务需求的目的。、通过对数据库的读写分离，Kafka集群、ArcGIS Server服务集群（彭涛，2009）的构建和全业务流程的日志监控实现系统的高可用性。、通过消息和计划任务调度管理器实现消息
16、与定时驱动的产品加工任务自动化运行。、通过地图制图技术，配置不同的产品加工模板，满足高质量和个性化的产品加工需求。从技术架构上看，系统分为三层结构，如下图所示：图 3 总体架构图Fig.3 General structure diagram of WeatherStudio持久层采用关系型数据库Oracle与HDFS分布式文件系统两种方式实现原始数据与生成产品的存储和管理。关系型数据库用来存放离散点类气象数据（任芝花等，2015）。对于网格点类气象数据，由于具有时间、空间的多维特征，用传统的关系型数据库很难表征气象要素间的关系，且检索效率低下。HDFS具有高容错、高可靠性、高扩展性、高吞吐率等特征为海量数据存储提供了可靠的持久化功能(徐海荣等，2015)，为气象数值模式产品及雷达分钟级降水产品等超大数据集的应用处理带来了
