《日志和文件接入规范》由会员分享,可在线阅读,更多相关《日志和文件接入规范(2页珍藏版)》请在金锄头文库上搜索。
日志和文件接入标准数据接入标准-日志和文件 修订历史 日期 修改说明 部门 修改人 数据接入需求 基于数据采集需求,初步判断数据的接入是否可以从日志和文件进展获取。联络技术研发部同事,恳求数据接入的位置参数,通过配置化方式定期读取效劳器指定位置的日志和文件,通过程序清洗日志,分割成字段装载到数据仓库贴层。 数据接入流程 1. 数据中心分析p 组接到TAPD数据接入需求之后,分析p 接入数据属于数据接口列表的哪个系统,在对应的系统标题下添加模板,参照APP-app_login_log。 和需求发起人进展沟通,确定提供数据的方式数据库、文件、接口等,让需求发起人补充详细的数据口径,补充到需求要求里面,指定数据仓库组或平台组的一个人进展转发。 2. 数据仓库组或平台组根据需求描绘。跟数据提供方可以是需求发起方、也可以是技术研发部门沟通,让其补充模板里的位置参数。 3. 数据提供方根据模板要求,提供位置配置参数。 4. 数据仓库组或平台组在接入数据后,整理数据格式,编写日志清洗转换脚本,并补充装载目的表信息。 5. 数据中心分析p 组对最终接入的数据进展验收,并通知需求发起人如何获得接入数据。 ? 提供数据方式: 第 页 共 页