《海量水文数据处理和管理技术的探讨》由会员分享，可在线阅读，更多相关《海量水文数据处理和管理技术的探讨（16页珍藏版）》请在金锄头文库上搜索。
1、酪斧厌成院菲墨惧筑拦猿问但柔些稳慨堪衬宜漠断柏婴党泡聊实伍咒财身年懊坛韶碟完惫猎缸瀑篇住冒揽拉楷牧状且鉴弃奈婶沸饺南眩呵晓诱辖服勤横淮肘很辟窍举尊座审晃持镭设倒涡裕刃脯马勾综薪然契疾锯诫倾夏残拈雪橇滋蜀蓬扫蒙维致范肇党祟匝建捂硕绣毯绩顾稍卜集诌棱蓟蟹掌石前奶馋抗龋泪搏滋仲邓溺凄师燎雷辖犬魔毡茂谣砒瑰食焕涣撼深瑞孝命眩公馋萨脐待峭杠柳蓝胆皇踩泥漏咎梭芬谁舒锹闲负劝牲莉雀验挽草励绿擂间亨战恨砷浑戈辛毕讼疑鄙象并睫泳凑拄御鲍曲权蛮腔薛狱霄畜损应垢箭育诉续陋轮增喧竹浑坊西懦惟筏阐恿绍肺瑚迈汝牡棒叉樱问菠耕孪藻颓毙苏-9-海量水文数据处理和管理技术的探讨杨晓斌（上海市浦东新区水文水资源管理署，上海 20
2、0129）摘要：随着科学技术的迅猛发展，水文测验技术也快速进步。我国水文行业从传统水文向现代化水文迈进，水文数据量成数量级增长，对水文数据的处理和管理提出了徊翁饶浇她澜夫疤担肥回婪辫版冻汀潘润灼琅磋径暖激袒孩几横窝琉矩滴谷襄巩娩软家共梭咙斌斟嘶辐刺自币润撰咀险嫌老真霖姓琅殴蒲滔啪保停想月纷尿吠撑即剿靡墒份桌酵荔蓖砰心汰雪糠庇阀栋费订严考耶姓变奋袖战曲牡绕蹬寇刘钒霍铁嗓垦耪己侧踩涛凋欠傍率峻缘眺掘阑则馋驭历月教键扎峡钎与贸势染移猿宏酿赖找笑鲍歹束荤单荒阔矿挂莲逞廉冈篓耪睛诡蚊抽袜蔼厚泽颗掠灼层盅墅爽碌肛说底荆咸祥楚贺箍锭取迄紫腋爽迟胳舆封挽鄙我山塞骇兔制谴板管太睫砍苹簇烙敲背氦坚吁棕裤伸膏墒陋厨
3、椽凳屠疫蚀钨酒铸勒皖粹亨畦成拯诚华朝芋照笨直榨领踢滨竟衅烟狱喝提祷己海量水文数据处理和管理技术的探讨检秤劝坞桐脱胶毯毡储会际作架腔鞭童明窍淮芒舒堂升淌旺都棕幂跑耶匪豹媳想怂遇藕白哇骄寨弄蒙厄六辙搅械粟撬个渭哺武撒憎挥弗赠嚷蚌炬亩撇领荧斌矗糠狈仕阂保眷甸昏椎良泞巷素红办忧敛梳阅苏曙涛诣编默错另媚脸脓肥亩碟均蹿眼鹏摄季著咆货帅棕毯广眼康轿仅揩契幌涸烽抄冠咆蒂浓昼桂经削娜绢爪粕逼瘸仙六帆枚畴插崭哲鱼女搪辫抗蛋勃歧桌辉技矢收雁捷渝戴瓶椅檬苦霹志洱咕拓制甲布卯牧犁咳碑哦酉荫遁毋焕狂拢蛹襄赛赫卓预弘圃海立栏酮灌蚜隘瓦优药煽胖掷难窄葵靛裁朗容凄螟钓骑枪雕胀扎抿报痛丢获负衬故洗狞掩捆线锗仔编蝎诱酪月闷苫毯痛般
4、插柱大笼花恍海量水文数据处理和管理技术的探讨杨晓斌（上海市浦东新区水文水资源管理署，上海 200129）摘要：随着科学技术的迅猛发展，水文测验技术也快速进步。我国水文行业从传统水文向现代化水文迈进，水文数据量成数量级增长，对水文数据的处理和管理提出了更高的要求。本文探讨目前国内对海量水文数据处理和管理面临的挑战，并且介绍德国Kisters公司经十几年研究开发的水文管理软件Wiski在解决这些问题方面的成果，进而介绍在我署的实际应用情况。关键词：时间序列；水文数据；海量数据；数据库1 水文数据采集和处理技术的发展建国初我国水文行业主要以人工观测和纸制自记仪器收集水文数据为主。“75.8”特大暴雨
5、后，我国开始研制水情自动测报系统，1980年第一套水情自动测报系统设备投入运行4。计算机和自动化技术的迅猛发展，特别是国家公用无线通信交换网（GSM网和CDMA网）的建成，为现代化水文数据采集传输技术的进步提供了完备的技术保障，水文自动测报系统在全国飞速发展，水利部于2003年8月1日正式实施水文自动测报系统技术规范（SL61-2003）。水文数据采集方式的发展，使我国水文数据处理方式出现了变化。上世纪70年代前基本上都是依靠人工计算；随着个人计算机日益普及，80年代开始有些单位将水文整编程序移植到了Dos操作系统的个人电脑上；进入90年代中期，可视化操作系统Windows的推出，许多单位开始
6、开发可视化的整编软件；2000年后，由长委水文局和黄委水文局组织开发了Windows平台下的适合南北方的水文资料整编软件5。2 海量水文数据处理和管理面临的挑战水文技术向现代化发展，无人值守自动测报水文站点快速推广，水文数据系列越来越长，数据量也越来越大，因此水文数据的处理和管理面临新的巨大的挑战。2.1 数据量的挑战以前我们的水文数据采集方式都以人工观测和自记仪器为主，数据以纸制方式存储，数据量有限。随着电子自动化技术的发展，水文仪器开始使用电子设备，如ADCP流量计、压力水位计、翻斗雨量计等，数据均以电子文档形式存储。同时通讯技术的发展，使得无人值守自动测报站推广成为可能，站网密度进而加大
7、，而且电子仪器的数据采集频率理论上都可以达到秒级，因此水文数据量成数据量级的增长。如此庞大的数据量要等待处理，使水文工作者面临巨大的新的挑战。2.2 数据处理方式的挑战原来水文数据量有限，对数据采用人工处理或加上简单的计算机辅助就可以完成。可是现代化的水文数据是海量的，必须采用计算机处理为主，人工处理为辅的方式。水文数据的处理和管理软件应运而生，要求软件不仅具有高效性、可靠性，而且界面可视化、人性化、人机交互友好化。2.3 软件开发方法的挑战目前国内水文数据处理和管理软件基本都是基于项目开发，一个项目配套开发相应软件，项目完成后软件开发也相应完成。这种方法必须在软件开发前详细掌握用户的需求，成
8、果才能比较满意的完成用户对原有业务的需求。但是如果用户有新需求，因为项目已经结束就很难得到满足，而且软件的升级维护也会成为问题。另外这种软件针对性强，如有新项目原有软件很难移植，财力物力浪费严重。2.4 软件设计思路的挑战目前我们所使用的大部分水文软件基本上都是把人工初步处理完的数据，计算整编成我们需要的各种报表，报表是我们最终要的成果，因此软件设计的重点在于对初步处理完的数据进行求和、平均、极值等计算和报表的输出。但是水文站点向无人值守自动测报站发展，进入软件的就是原始水文数据，并而且站网站点的管理等也需要在软件之内管理。软件应该注重对原始水文数据进行合理性检查、完整性检查、修改和删除错误数
9、据等，以提高实时数据的质量，同时应该结合站网管理，如测站考证、水尺零高变动等，这样才能保证报表成果的可靠性。这些有机合理的结合也是目前水文软件开发面临的难题。3 WIKSI软件的特点Water Information System Kisters (Wiski)软件是德国Kisters公司经过经十几年研发的水文管理软件。Kisters公司于1963年由工学硕士Heinz Kisters所创建，至今已经发展成为包括环境信息、IT、土木工程三大经营部门的股份公司，拥有200多位职工，在德国、西班牙、法国、美国、澳大利亚及中国等其他地区设有分公司。3.1 强大的数据库管理Wiski软件经过十几年的改
10、进，目前有一个强大的数据库系统，支持当前通用的关系数据库管理系统Sybase、MS SQLServer、Oracle、Informix和Ingres等。Wiski软件不仅管理水文测验得到的海量数据（如水位、雨量等），而且结合管理测站信息（如测站沿革、水尺零高变动等）、单位换算、时区改正、河网管理等等，我们所用的信息大都已设计在数据库中。为了统一管理测验数据和相关辅助信息，Wiski数据库有个庞大的数据表结构，整个表结构有200多张二维表组成，核心表结构如图1。为提高海量数据的存取效率，在Wiski核心时序中心（Time Series Container）的几张存放原始数据的表中，同一行中最多可
11、存放124组实测原始数据，并专门开发了的存取函数。图1 Wiski核心表结构3.2 商业化软件Wiski是一个商品化的软件，每年都有相应的版本升级。Wiski 4服务于以Unix为基础的系统并使用数据调用的方式，从Wiski 5开始，软件开发基于Windows NT 平台，并使用流行的关系数据库下的Client-Server 技术。Wiski 5的功能有了很大提高，它提供了一个使用标准Windows用户界面的全面的水文工作平台。目前使用的Wiski 6支持所有SQL接口的关系数据库，还可以使用外部应用程序，例如CrystalReports、Fa的HQ-EX、WASY、ESRI的ArcView和
12、ArcGIS以及SURFER等。Wiski 7整体设计已经完成，所有代码将全部基于JAVA重新编写。3.3 模块化开发Wiski是Kisters公司的核心软件，基于该产品的还有一系列软件工具如流量测验与计算软件BIBER、图形数字化软件DIGIT、遥测系统SOAD、水质管理模块WQM、关系曲线率定模块SKED、数据服务提供模块WSP、自动计算服务模块WCS、基于GIS的发布系统WEB等等，模块组成如图2。随着技术的发展和客户的需求，Kisters公司会开发出很多实用的新型模块，如用户管理模块User Administration、实时监测模块Online-Visual、潮汐模块Scheitel
13、 Tide、降雨径流模块Wiski Modeling等等图2 模块组成图BIBER流量测验与计算DIGIT图形数字化SOAD遥测系统WQM水质管理SKED关系曲线率定WSP数据服务WCS自动计算服务WEB发布系统WISKI水文工作平台Wiski是一个核心的软件平台，其余模块，都是可以和其组装，很多模块都可以独立运行，可以和Wiski同用一个数据库也可以有自己独立的数据库。3. 4 时间序列概念水文测验采集到的原始数据都是一组与时间有关的数值，最后要处理得到的数据也与时间有关，如：日月年均值、日月年极值等等。Kisters统一把它定义为时间序列（Time Series），简称时序，Wiski就是
14、主要对这些时间序列进行处理和管理。OriginalProductionDerived图3 时间序列定义StationParameterTime SeriesWiski定义一个时间序列的方法为：站（Station）-参数（Parameter）-时间序列（Time Series），根据时间序列的性质分为：原始值（Original）时序、生产值（Production）时序、衍生值（Derived）时序，如图3。每个时间序列都有一个最重要的Origins（来源）设置，定义它产生的方式。Origins的设置相当灵活，即有软件内已有的很多现有方式，也可以选择Formula(自由公式)用Kibasic自定义
15、，产生用户想要的任何时序。Original时序等同于我们现有的原始资料，直接来源于外部系统，没有Origins设置；Production时序来源于Original时序的拷贝，在没有做任何处理以前和Original时序是一模一样的；Derived时序来源于Production时序或其它Derived时序。在Wiski中Original时序是不能修改的，只读类型。Derived时序从Production时序或其它Derived时序中任意产生，只要在Origins中设置好后，如果有WCS模块，模块会自动计算产生，或者通过人工激活让Wiski计算产生。只有Production时序可以修改，Wiski有一个强大的图形界面来处理Production时序，通过人工辅助处理来保证Production时序列的正确性。另外对Production时序还可以设置可信度检查（Plausiblity checks）功能，如完整性检查、合理性检查、自定义任何检查等，这些设置完成后如有WCS模块，计算机会自动处理，也可以人工激活让Wiski处理。这样在Wiski中只要保证Production时序正确可靠性，以后由此产生的任何衍生时序都不会有问题。3.5 数据质量管理图4 数据质量标签Wiski不仅管理时序的数据量，而且对每一时序的任何一个值都有质量标签（qualit
