《SAP-BI-项目PP模块ETL设计说明书》由会员分享，可在线阅读，更多相关《SAP-BI-项目PP模块ETL设计说明书（50页珍藏版）》请在金锄头文库上搜索。
1、 -北京科莱特信息技术有限公司SAP BI 项目PP模块ETL设计说明书当前版本: 拥有者:最后更新日期:最后更新者: 作者: 创建日期:批准者: 批准日期: 修订历史版本号更新日期修订作者主要改变描述目录1.概述62.ETL系统架构设计72.1模型ETL系统逻辑架构73.主数据工厂物料模型设计83.1工厂物料模型架构83.2自定义数据源说明83.3模型字段及ETL数据流83.3.1数据源 0MAT_PLANT_ATTR 特性 ZPLANT_M.93.3.2数据源 ZBW_PP_ZTEC - 特性 ZPLANT_M113.3.3数据源 ZBW_PP_ZTHI - 特性 ZPLANT_M123
2、.3.4数据源 ZMBEW - 特性 ZPLANT_M143.3.5数据源 0MAT_PLANT_TEXT - 特性 ZPLANT_M144.投入产出模型设计154.1投入产出模型架构154.2数据源增强及自定义数据源说明164.3模型字段及ETL数据流184.3.1数据源 2LIS_04_P_MATNR - ODS PP_D110194.3.2数据源 ZAUFK - ODSO PP_D110204.3.3ODS PP_D110 - ODS PP_D202214.3.4ODS PP_D202 - ODS PP_D210254.3.5ODS PP_D210 - CUBE PP_IC310254.
3、3.6数据源 2LIS_03_BF - ODS MM_D131264.3.7ODS MM_D131 -ODS PP_D191284.3.8ODS PP_D191 - ODS PP_D201294.3.9ODS PP_D201 - ODS PP_D210334.3.10数据源 2LIS_04_P_ARBPL - ODS PP_D130344.3.11数据源 ZBOM - ODS PP_D150364.3.12数据源 ZCPV - ODS PP_D160364.3.13数据源 2LIS_11_VAITM - ODS SD_D110374.3.14ODS SD_D110 - ODS PP_D1923
4、95.物耗模型设计415.1物耗模型架构415.2数据源增强说明415.3模型字段及ETL数据流425.3.1数据源 2LIS_04_P_COMP - ODS PP_D120435.3.2ODS PP_D120 -ODS PP_D220445.3.3ODS PP_D220 - CUBE PP_IC320466.PP数据装载流程471. 概述本项目ETL部分的核心功能就是按照本设计说明书的架构，将数据由数据源系统(SAP R3)加载到数据仓库(SAP BW)中。其实现的困难在于ETL工作将面临复杂的源数据环境，包括多种R3标准数据源和增强结构、繁多的数据种类、巨大的加载数据量、错综复杂的数据关系
5、和参差不齐的数据质量，这些都使ETL的架构和应用设计面临相当的挑战。通过高效的ETL系统结构、层次化的应用功能划分和BW标准的元素，ETL系统和应用架构设计需要能够达到以下目标： 支持在此框架下实现BW数据仓库所需要的ETL功能； 支持在规定的时间窗口内能够完成数据加载工作，即需要满足日常数据加载的性能需求； 能够支持有效的应用程序开发模式，提高开发效率，尽量减少应用开发成本； 减少系统维护的复杂性，支持后续增加新数据或功能的开发工作。ETL设计说明书为ETL开发提供指导，着重叙述数据仓库系统ETL系统的架构、功能和实施过程，其中包含了主要数据转换过程以及涉及到的客户化例程的说明。ETL过程依
6、赖于源数据的准备就绪，本设计说明书同时也列出了模块所对应的SAP标准数据源和主数据数据源。由于ETL的复杂性，本设计尝试从多个层面进行说明，希望能够尽可能回答开发过程中所面临的问题达到指导开发的目的，但实际开发过程中，开发人员仍然可能遇到设计说明书没有涉及的问题，因此，遵循设计的基本思想，通过开发人员的反馈，在开发的过程中不断地完善和修正设计，对于ETL的开发是非常重要的。对于任何ETL开发过程中遇到的技术问题，开发人员需要与设计人员协商讨论，以迅速解决问题，保证开发顺利进行。而同时，为保证ETL系统架构的完整、统一、程序的可维护性以及开发的可管理性，对设计的修改必须得到控制，重要的变动必须通
7、过版本管理流程来协调进行。本设计说明书将包括以下部分： 架构设计：设计对应模块ETL系统的逻辑架构以及分析数据流。 ETL过程说明：包括ETL过程涉及到的各步骤说明，如信息包的更新机制，转换过程中涉及到的特定例程控制，DTP的执行和更新机制等等。 数据加载流程：说明了对于本模块而言在运行特定步骤之前需满足的条件。2. ETL系统架构设计2.1 模型ETL系统逻辑架构上图是ETL系统逻辑架构。从宏观设计上，历史数据、初始数据加载和日常数据加载的ETL都将按照此架构设计。该架构将ETL作为一个整体来设计。对于数据仓库的加载，ETL分为数据抽取（Extract）、数据转换（Transform）以及数
8、据加载（Load）3个阶段。3. 主数据工厂物料模型设计3.1 工厂物料模型架构3.2 自定义数据源说明ZBW_PP_ZTHI 分切、瓶标等参数表 来源于R3的ZTHI表ZBW_PP_ZTEC 指示单资料基础资料 来源于R3的ZTEC表ZMBEW 物料最新的未来价格3 来源于R3的ZMBEW视图3.3 模型字段及ETL数据流总说明：对于没有做特别说明的DTP，默认是无过滤条件的DELTA方式的DTP。由于目标是主数据，因此所有的更新都是覆盖。3.3.1 数据源 0MAT_PLANT_ATTR 特性 ZPLANT_M.（1）0PROD_HIER字段的例程：关联0MATERIAL（/BI0/PMA
9、TERIAL）取得物料的层次码。DATAZ_PROD_HIERTYPE/BI0/OIPROD_HIER.SELECTSINGLEPROD_HIERINTOZ_PROD_HIERFROM/BI0/PMATERIALWHEREMATERIAL=SOURCE_FIELDS-MATNR.RESULT=Z_PROD_HIER.（2）DTP使用full方式的DTP，原因是0PROD_HIER需要关联0MATERIAL特性。3.3.2 数据源 ZBW_PP_ZTEC - 特性 ZPLANT_M3.3.3 数据源 ZBW_PP_ZTHI - 特性 ZPLANT_M（1）ZDITEM字段的例程：对源数据进行是否
10、数字的判断，如果其中含有字母，则置为0。IF SOURCE_FIELDS-DITEM CN .1234567890 . RESULT = 0. ELSE. RESULT = SOURCE_FIELDS-DITEM.ENDIF.（2）ZDDWID字段的例程：对源数据进行是否数字的判断，如果其中含有字母，则置为0。IF SOURCE_FIELDS-DDWID CN .1234567890 . RESULT = 0. ELSE. RESULT = SOURCE_FIELDS-DDWID.ENDIF.3.3.4 数据源 ZMBEW - 特性 ZPLANT_M3.3.5 数据源 0MAT_PLANT_T
11、EXT - 特性 ZPLANT_M4. 投入产出模型设计4.1 投入产出模型架构其中，左边2LIS_04_P_MATNR，PP_D110，PP_D202，PP_D210，PP_IC310这条线是按技术完成日期来看生产订单的投入和产出。右边2LIS_03_BF MM_D131 PP_D191 PP_D201，PP_D210，PP_IC310 这条线是按过账日期来看生产订单的产量、产值、千平米数。以上两条线汇总到PP_D210时，使用“时间类型”字段来区分，技术日期的时间类型等于“101”，过账日期的时间类型等于“102”。而PP_D130，PP_D150，PP_D160，PP_D192会在以上两
12、条线的routine中被使用。此模型可以为顶正_产值状况表、顶正_生产状况表提供数据。结合这两张报表的需求文档，将能更清晰的理解本模型。4.2 数据源增强及自定义数据源说明1：数据源增强（1） 2LIS_04_P_MATNR增强了ZZDEL_FLAG删除标志ZZIDAT2技术完成日期增强代码如下： WHEN 2LIS_04_P_MATNR. LOOP AT C_T_DATA into L_PP_MATNR. L_TABIX = SY-TABIX. SELECT SINGLE IDAT2 LOEKZ INTO (L_PP_MATNR-ZZIDAT2,L_PP_MATNR-ZZDEL_FLAG)
13、FROM AUFK WHERE AUFNR = L_PP_MATNR-AUFNR. MODIFY C_T_DATA FROM L_PP_MATNR INDEX L_TABIX. CLEAR L_TABIX. CLEAR L_PP_MATNR. ENDLOOP.（2） 2LIS_04_P_ARBPL增强了ZZDEL_FLAG3删除标志ZZIDAT2技术完成日期增强代码如下： WHEN 2LIS_04_P_ARBPL. LOOP AT C_T_DATA INTO L_PP_ARBPL. L_TABIX = SY-TABIX. SELECT SINGLE IDAT2 LOEKZ INTO (L_PP
14、_ARBPL-ZZIDAT2,L_PP_ARBPL-ZZDEL_FLAG3) FROM AUFK WHERE AUFNR = L_PP_ARBPL-AUFNR. MODIFY C_T_DATA FROM L_PP_ARBPL INDEX L_TABIX. CLEAR L_TABIX. CLEAR L_PP_ARBPL. ENDLOOP.（3） 2LIS_03_BF增强了 ZZMAUFNR_IND 是否大订单或三科订单标记增强代码如下：WHEN 2LIS_03_BF. LOOP AT C_T_DATA INTO L_MM_03BF. L_TABIX = SY-TABIX. IF L_MM_03BF-AUFNR . SELECT SINGLE MAUFNR INTO ZMAUFNR FROM AFKO WHERE AUFNR = L_MM_03BF-AUFNR AND PLNBEZ = L_MM_03BF-MA
