《《ETL数据抽取》PPT课件》由会员分享，可在线阅读，更多相关《《ETL数据抽取》PPT课件（23页珍藏版）》请在金锄头文库上搜索。
1、.,1,数据抽取2015年9月2 日,数据分析事业部 舒礼明,.,2,目录： ETL定义 ETL过程 问题分析 现状分析,培训目的： 掌握ETL基本概念 了解ETL的问题以及现状,.,3,目录： ETL定义 ETL过程 问题分析 现状分析,.,4,ETL定义,ETL定义涉及以下内容： ETL 定义 ETL定义：数据的抽取（extract）、转换（transform）、装载（Load）的过程。 ETL 前提 确认ETL范围：通过对目标表信息的收集 选择ETL工具：a.考虑资金 b.运行的平台、对源和目标的支持程度、数据抽取管理监控功能、对异常情况处理。 确认解决方案：抽取分析、变化数据的捕获、目
2、标表的刷新策略、数据的转换以及数据验证 ETL 原则 1.尽量对数据进行预处理。保证数据的安全性、集成与加载的高效性。 2.ETL的过程是主动的“拉取”，而不是从内部“推送”，起可控性将大为增加。 3.流程化的配置管理 4.数据质量的保证 ：正确性、一致性、完成性、有效性、可获取性,.,5,目录： ETL定义 ETL过程 问题分析 现状分析,.,6,数据抽取 数据清洗 数据转换 数据加载,ETL过程,.,7,ETL过程,.,8,ETL过程.数据抽取,.,9,ETL过程.数据抽取,数据来源 文件系统、业务系统 抽取方式 根据具体业务进行全量或者增量抽取 抽取效率 将数据按照一定的规则拆分成几部分
3、进行并行处理 抽取策略 根据具体的业务制定抽取的时间、频度，以及抽取的流程,.,10,ETL过程.数据清洗,.,11,ETL过程.数据清洗,数据不缺 对空数据、缺失数据进行数据不缺操作，无法处理的作标记 数据替换 对无效数据进行数据替换 格式规范化 将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式 主外键约束 通过建立主外键约束，对非法数据进行替换或者导出到错误文件重新处理,.,12,ETL过程.数据转换,.,13,ETL过程.转换规则,数据合并 多用表关联实现，大小表关联使用嵌套，大大表关联用join 数据拆分 按一定规则进行数据拆分 行列互换 排序、修改序号 去除重复记录 数据
4、验证：sum、count、查询维度表 实现方式 A. 在ETL引擎中进行（SQL无法实现的） B. 在数据库中进行（SQL 可以实现）,.,14,ETL过程.数据加载,.,15,ETL过程.数据加载,.,16,目录： ETL定义 ETL过程 问题分析 现状分析,.,17,问题分析,数据异常 将错误的信息单独输出，继续执行ETL，错误数据修改后再单独加载 中断ETL，修改后重新执行ETL 原则：最大限度接收数据 环境异常 对于网络中断等外部原因造成的异常，设定尝试次数或者尝试时间，超数或超时后，由外部人员手工干预 其他异常 例如源数据结构改变、接口改变等异常情况，应进行同步后，再装载数据,.,1
5、8,ETL设计规范.开发,ETL开发首先要确定的是流程的执行顺序以及条；其次是具体表映射关系的定义，在数据库性能允许的情况下，尽可能使用sql语句进行处理。 对于具体映射和流程的命名，应该以维护方便为前提： 映射：以目标表名命名 流程：以流程要实现的功能命名 不允许使用临时的SQL语句操作数据库，必须编写好的SQL脚本或存储过程 限定手工干预只能运行某个流程，不允许运行单个过程 每一项手工操作必须留下记录,.,19,ETL设计规范.设计,SQL语句应书写规范，关键字全部大写，同时应增加注释。 对于自定义咧，需要按照公司规范来命名，eg,.,20,常见问题的分析,字符集问题 缓慢变化维度处理 增量、实时同步的处理 错误数据的检测 变换数据的捕获 抽取异常中止的处理,.,21,ETL 工具厂商,目前ETL工具来源： 数据库厂商自带的ETL工具，如OWB等 第三方工具提供商，如informatic等 开源ETL工具，如kettle,.,22,谢谢观看！,感谢亲观看此幻灯片，此课件部分内容来源于网络， 如有侵权请及时联系我们删除，谢谢配合！,
