《Micaps数据服务器说明课案》由会员分享，可在线阅读，更多相关《Micaps数据服务器说明课案（36页珍藏版）》请在金锄头文库上搜索。
1、Micaps数据服务器说明一数据服务器安装以及环境要求1.1环境要求1）硬件：内存至少1G，数据服务器软件所在硬盘的剩余空间至少为10G；存放数据的硬盘剩余空间至少100G；2）软件：windows2000，windowsxp，windows2003server，建议装在windows2003server上。1.2拷贝安装程序从光盘中的“数据接口”目录下拷贝micapsserver3文件夹到本地目录，要求本地目录长度不能超过20个字符，本地目录名中只能包含字母和数字，中间不能包括空格，括号，点号等特殊字符。1.3执行初始化配置程序运行bin目录下的MicapsDataServerConfig.
2、exe，出现以下界面：点击菜单中的“安装初始化配置”，弹出以下界面：请设置好CMACAST数据访问方式，默认为虚盘访问方式，需要指定实际的虚盘路径。也可以选择采用ftp访问方式，此时需要填入FTP服务器的ip地址、端口、用户名、密码信息，其中端口默认为21。此外需要配置以下目录信息（注意：请确认选择或者输入的目录是有效的）：1）原始数据存放根目录用于存放MICAPS数据服务器获取到的原始数据；2）原始数据备份存放根目录用于存放从MICAPS数据服务器获取到的原始数据的备份；3）产品数据存放根目录用于存放经MICAPS数据数据服务器处理后的产品；4）产品数据备份存放根目录用于存放MICAPS数据
3、服务器处理后的产品的备份。配置好上述信息后，点击保存，程序自动执行配置程序以及在指定目录下创建产品文件目录。至此，安装和配置基本完成。1.4从数据接口2.0向MICAPS数据服务器3.0版本过渡如果目前业务中还存在正常运行的2.0数据接口，并且已经满足了当前业务的需求，则2.0版数据接口中一些文件可以给3.0数据服务器共用，以便3.0版本能快速满足当前业务需求。2.0版本和3.0版本可以共用的配置文件有：1）limitdm.txt：地面极值检查中各要素的临界值表2）limitgk.txt：高空极值检查中各要素临界表3）aaxxdat.dat：地面站号表4）data3dm.txt：第三类数据的参
4、数文件5）pwaread.tx：客观分析范围6）ttaadat.dat：高空站号表7）data3gk.txt：第三类数据的参数文件8）pwareag.dat:高空客观分析范围9）physic.txt:各物理量等值线参数10）ts.dat查算沙氏指数表在两个版本中，上述文件都存放在datatran目录下。1.5启动数据服务器程序在安装和配置好数据环境后，执行MicapsDataSchedule.exe，就开始实时产生Micaps终端所用到的数据。MICAPS数据服务器3.0版新功能2.1采用XML(可扩展标记语言)文件作为数据描述方式，易于扩充和管理新的数据数据接口2.0版本中大量采用格式化文本
5、进行配置，文本方式不易于管理，并且不直观，特别在2.0版本中用到的datatime.tab文件，该文件用于描述要调用数据，由于其设计方式，很容易导致该文件记录行膨胀，尤其对于频繁发布的数据，例如雷达和自动站数据。同时要完成这个调度表的工作量很大，调度表很容易达到数千行，并且容易漏写或者重复。尽管在9210中发布的数据比较少，这块还不太会成为瓶颈，但当CMACAST下发数据快速增长时，用这种方式描述要处理的数据，已经是一个太大的工作量了。针对上述问题，在3.0版本中采用XML作为数据的描述方式，抽象出数据的基本信息，如数据源，发布时间，加载时间，后处理等，便于描述新的数据。并且XML是目前广泛使
6、用的数据描述文件，其格式可以被大多数软件解析和使用，便于以后程序间共享信息。目前程序自带的数据描述文件有：upper_air.xml：常规高空数据surface.xml：常规地面数据ec-00.xml：欧洲数值预报00-UTC点预报产品ec-12.xml：欧洲数值预报12-UTC点预报产品t213-00.xml：T213数值预报00-UTC点预报产品t213-12.xml：T213数值预报12-UTC点预报产品Grapes-00.xml：GRAPS数值预报00-UTC点预报产品Grapes-12.xml：GRAPS数值预报12-UTC点预报产品mm5-00.xml：MM5数值预报00-UTC点
7、预报产品mm5-12.xml：MM5数值预报12-UTC点预报产品t639-00.xml：T639数值预报00-UTC点预报产品t639-12.xml：T639数值预报12-UTC点预报产品japrain-00.xml：日本降水数值预报00-UTC点预报产品japrain-12.xml：日本降水数值预报12-UTC点预报产品gerrain-00.xml：德国降水数值预报00-UTC点预报产品gerrain-12.xml：德国降水数值预报12-UTC点预报产品fax-08.xml：传真图数据fax-12.xml：传真图数据fy2h.xml：国家卫星气象中心下发FY2卫星数据fy2c-tzc.xm
8、l：国家卫星气象中心下发FY2卫星数据fy2c-twdh.xml：国家卫星气象中心下发FY2卫星数据fy2c-twd.xml：国家卫星气象中心下发FY2卫星数据fy2.xml：国家卫星气象中心下发FY2卫星数据radar-pintu1.xml：中央气象台下发雷达拼图MICAPS产品radar-pintu2.xml：中央气象台下发雷达拼图GIF产品radar-pintu3.xml：常规雷达拼图产品mtsat.xml：国家卫星气象中心下发日本MTSAT卫星数据sand.xml：沙尘产品radi.xml：辐射观测产品lpd.xml：SAFIR闪电定位数据ingredient.xml：大气成分fine
9、.xml：精细化预报docu.xml：各种公报awsjm.xml：自动站加密观测aws_soil.xml：自动站土壤水分观测2.2提供数个配套的工具，可以完成数据管理过程中的主要工作1）UpdateConfig.exe用于自动配置数据服务器环境；2）MicapsDataServerConfig.exe用于管理数据服务器所能处理的数据类型描述文件；3）MicapsDataBaker.exe用于备份数据服务器获取到的原始数据和数据服务器产生的产品数据；4）MicapsDataRecoverShedule.exe用于恢复产品备份或者直接从CMACAST服务器上下载数据来还原产品。5）MicapsDa
10、taServerWatch.exe用于监视产品的目录下的变化，监视数据服务器获取CMACAST原始数据的情况，监视数据接口程序MicapsDataSchedule.exe的运行情况，以及快速启动第2，3，4个终端软件。2.3自动管理数据服务器相关的数据服务器自动在管理员指定的时间点执行数据的维护任务，例如删除超过指定期限的原始数据或者产品数据。目前在datatran中有一个clclear.bat,其内容为：rem%1表示原始数据%2表示产品数据存放的根目录cf%1120cf%2120表示系统定期清除120个小时前，即5天前的数据。系统管理员通过改变这个时长，从而控制保留原始数据和历史数据的规模
11、。2.43.0版本中不再包含的2.0版本中的程序和功能不支持从气象数据库中获取数据;2)不再提供transdat.exe，datatime.tab,transdb.exe，dbtime.tab，mtimer.exe。3) 不再提供从数据库中获取数据的脚本。三设计结构3.1功能模块介绍数据收集数据配置数据配置数据配置1.xml2.xml存储数据N.xml结构数组填充各数据的数据收集存储数据结构读下一个发现数据？检测数据数据参数周期检测定时检测服后本务处地器理数参参据库到达时启动调数据外部间区间？程序数据源生成FTPFTP调获取用程序数据生成检测参数启动后数据入库处理脚本调取数据检测调数据结果成功
12、？向管理人本地数据库系统定时从服务器在MICAPS主机上在本地硬盘上按文上获取数据进行格式转换件存放这些数据，形成一个按文件管理的本地数据库在日常运行中，系统从本地数据库中获取数据服务器或其它系统主动从向服务器或其它系统发送本地数据库中调取产品产品数据数据3.2物理结构设计bindatatrannationalxmliniLinuxdatatranloglocalxml（图三）其中bin存放windows下的可执行程序；datatran存放windows下的后处理程序；nationalxml存放CMACAST相关的数据描述文件；localxml存放本地数据的描述文件；ini存放系统配置文件；L
13、inuxdatatran存放linux平台下后的处理程序；log存放数据服务器产生的日志文件。3.3设计结构的改进3.3.1面向对象设计和实现，实现跨平台2.0版本采用C与Fortran语言作为主要开发语言，这种面向过程的语言在软件工程中被认为存在大量的问题，如不易于维护等。因此3.0版本采用C+作为主要开发语言，并且遵循C+的国际标准，这样不仅实现了面向对象的结构，并且做到了跨平台，从而达到一套代码，多平台执行的效果。3.3.2多线程，数据处理的吞吐量大2.0版本采用的是单进程执行结构，要获取的文件和对应的后处理程序都顺序执行，必然导致数据的处理速度慢，吞吐量小，并且在任务执行的任何一步出现
14、问题，都会导致该进程退出或者停止，从而中断所有数据的处理，易于发生丢失数据的情况。3.0版本采用多线程结构，增加了吞吐量，即使其中的一个处理线程出现了故障，也不影响其它线程的工作，程序的稳定性提高。3.3.3数据管理更规范2.0版本将程序的执行文件，配置文件，原始数据文件都存放在一个目录，同时产生了大量的中间文件，给系统管理员在使用和维护时造成了混乱。3.0版本可以根据用户设置的目录来存放原始数据，原始数据的备份、产品、产品备份。并且将主程序，配置文件，后处理程序都分开存放，这样便于了数据管理员的管理和维护。四Micaps数据服务器本地化4.1修改已有数据类型的属性在MICAPS数据服务器设计
15、，开发、测试过程中，我们都参考和使用实际的CMACAST环境，尽量做到反映CMACAST实际运行环境，但可能由于数据通信方面问题，CMACAST数据到各个地方的时间不一样，导致出现不同的延迟，因此有可能需要修改各个已有数据描述文件中的加载时间、加载失败后重试的间隔，最终认为加载失败的时长，具体修改请参考Micaps数据服务器配套管理工具使用说明.doc。根据数据类型的描述文件，MICAPS数据服务器将下载后的原始数据放在相应目录下，不推荐管理员修改原始数据存放的目录，但当由于某些原因必须修改时，管理员可以通过系统提供的配置工具来修改数据类型描述文件中的数据加载处的目录项，具体修改请参考Micaps数据服务器配套管理工具使用说明.doc。在修改数据类型的相关属性后，需要重启MicapsDataSchedule.exe，才能将改动反映到主程序中。4.2修改后处理程序的配置参数数据服务器从CMACAST下载到原始数据后，需要经过后处理才能产生实际的产品，因此管理员可以通过修改后处理程序的配置参数来控制产品的数量，大小，具体操作请参见后续“已有数
