File2db配置文件开发手册

《File2db配置文件开发手册》由会员分享，可在线阅读，更多相关《File2db配置文件开发手册（52页珍藏版）》请在金锄头文库上搜索。

1、File2db使用手册File2db配置文件开发手册宏智科技网管产品事业部2002年4月目 录1概要介绍31.1读者需要具备的基础31.2参考文档31.3背景31.3.1为什么有file2db工具31.3.2为什么可以有file2db工具51.4入门61.4.1数据源61.4.2数据目的地61.4.3数据抽取过程71.4.4数据抽取结果92File2db开发92.1开发步骤说明92.2文件结构分析102.2.1文件头filehead102.2.2报告 REPORT HEAD +BODY+ TAIL142.2.3子报告块SUBBLOCK142.3数据抽取定义142.3.1设定变量152.3.2创

2、建原始表152.4编写file2db配置文件162.4.1File2db_Config172.4.2Head172.4.3Target_Database172.4.4globalvariable182.4.5Var182.4.6预定义变量192.4.7filehead（可选）192.4.8filesplit （可选）192.4.9block 报告块匹配定义202.4.10line匹配表达式212.4.11Filename222.4.12预处理222.4.13Measurement222.4.14Tablename232.4.15sourcevar232.4.16Target_action232

3、.4.17mapping232.4.18Target_stat242.4.19Sourcereport242.4.20Body252.4.21block扫描顺序252.5转换函数和厂商模块292.5.1转换函数292.5.2厂商模块312.6运行和调试方法322.6.1运行环境322.6.2目录结构322.6.3命令行参数332.6.4调试方法343深入file2db开发413.1变量定义413.2format定义423.3block定义423.4高级block属性应用433.4.1multiple433.4.2parallel443.4.3join473.4.4sum483.4.5reset

4、484局限和不足501 概要介绍说明：本文主要介绍v2版的配置文件编写。V1版和V2版的区别参见1.1 读者需要具备的基础1） 正则表达式2） 网管系统有关omc_id/ task_id的定义和使用3） xml4） perl基本编程1.2 参考文档1）原始表设计原理和规则_v1.01.3 背景1.3.1 为什么有file2db工具在采集系统面对的数据源中，除了数据库外，数据文件以及由人机命令得到的结果文件是一个主要部分。我们在网管系统中面对的是10多家厂商的多种设备，每种设备的数据又分为配置、性能、告警，每类数据又分为多种报告格式，每种报告格式在不同版本下可能是不一样的。毫不夸张地说，我们网管

5、系统处理的各式各样的报告不下100种。这样，如果我们需要分析这些报告，传统的做法是对每个报告编写一段代码，这样造成了极低的效率，第一要求开发人员具有较高的开发水平，第二开发人员不能专注于文件的数据抽取，而需要兼顾程序编写的代码质量风格；第三，每段代码都有其重复之处，例如读取文件、拆分、匹配、数据变换、数据入库、出错处理、写trace等；大量的重复代码一方面不能保证统一的质量水准，一方面造成了维护、升级、交接的困难，也造成了开发周期的延长。而实际上，厂商数据格式随着版本变化而变化，用户抽取数据的需求也随着使用变化而变化，就要求我们对新的数据抽取需求能够快速反应。因此，就需要有这样一个工具，实现数

6、据文件抽取的快速开发。为了从这些异构的原始数据文件中抽取到所需的配置、性能、告警数据并存入数据库中的原始表，同时避免分厂商开发带来的代码重用，摆脱大量繁琐的程序开发，我们设计了数据采集工具file2db。作为一个通用的工具，它提取出数据文件处理的共性，而通过与不同厂商相对应的配置文件和厂商模块来描述个性，即不同数据文件的具体结构及数据的具体处理。两者的结合，即完成了从数据文件到原始表的处理过程。这个过程可以说就是一个按规则抽取数据并归一化到关系数据库数据表中。配置文件 NokiaAlcatelMotorola原始数据文件 File2db.plNokiaAlcatelMotorola供应商模块N

7、okiaAlcatelMotorolaRawdata Table数据库图-1 FILE2DB原理图1.3.2 为什么可以有file2db工具我们处理的文件报告都是ASCII格式，有其共同之处。因为这些文件都是反映网管对象某一方面的属性，因此其格式有章可循。每个文件通常都是由一个个报告组成，每个报告都有头、身、尾，报告内容可能是一系列相对比较规整的记录。我们可以通过形式化描述的方式描述整个文件。对所有文件的处理，我们的方式都是一致的- 找出我们需要的数据，进行转换（option），然后插入到原始数据库表中。所有原始数据库表的设计思路都是统一的。由于存在着一系列的共性，我们可以采用一个通用的fil

8、e2db工具，实现各类文件到数据库表的转换。1.4 入门首先我们来对file2db到底是什么有个感性认识。1.4.1 数据源这是一个alcatel处理器负荷00062报告的文本文件GMSC1_0062.TXT： GMSC1 1999-08-14 00:00:17 SA 000 0000/0000/0000 SEQ=5568+990728 00062 MEASUREMENT - STATISTICS RESULTS OF CE LOAD OBSERVATION - REQUESTED START TIME = 23H 0M REQUESTED STOP TIME = 24H 0M PERIOD

9、= 1H 0M OUTPUT NUMBER = 1 LAST REPORT EVENT CLOCK HANDLERS MESSAGES NBR OF LCEID INTERRUPTS SCHEDULED DISPATCHED IDLE LOOPS LOAD H15A0 719981 182083 35621 255352636 8% H16C0 719980 176565 33000 253525278 8% H0560 719980 143877 10321 255250001 8% H0630 719979 141190 9867 255437840 8% H04B0 719980 128

10、298 12227 261438612 6% H2130 719980 130171 12795 261303468 6% REPORT FOLLOWS NO = 00062 1.4.2 数据目的地我们需要从该文件中提取带颜色的，下划线的数据，并把它们保存到数据库jscookdb的原始表P_alc_ceload中。P_alc_ceload的结构是：E250-/opt/js/uniload/data/DAL/PM/alcatel dbschema -d jscookdb -t p_alc_celoadDBSCHEMA Schema Utility INFORMIX-SQL Version 9.2

11、1.UC5 Copyright (C) Informix Software, Inc., 1984-1997Software Serial Number AAB#J770265 TABLE informix.p_alc_ceload row size = 75 number of columns = 7 index size = 100 create table informix.p_alc_ceload ( int_id integer, - 后处理程序填写 scan_start_time datetime year to second not null , - 从文件抽取并做日期格式转换

12、scan_stop_time datetime year to second not null , - 从文件抽取并做日期格式转换 mscname varchar(40,8) not null , - 从文件抽取 lceid char(6) not null , - 从文件抽取 load integer not null , - 从文件抽取 omc_id integer not null - file2db程序填写 );revoke all on informix.p_alc_ceload from public;1.4.3 数据抽取过程执行：file2dbv2.pl -f ./././dalconfig/file2db/p_alc_ygltest.cfg -o 100 -t 111 -d ././././data/DAL/PM/alcatel/GMSC1_0062.txtfile2dbv2.pl是负责file db 抽取的通用工具。-f 是 file2db配置文件，解释抽取规则；-d 是需要抽取的原始文件。File2db配置文件p_alc_ygltest.cfg内容：!-