《中文les10_创建数据仓库_ 数据仓库教学课件 中文oracle99版》由会员分享，可在线阅读，更多相关《中文les10_创建数据仓库_ 数据仓库教学课件 中文oracle99版（26页珍藏版）》请在金锄头文库上搜索。
1、创建数据仓库,总述,目标,完成这一课后,你应该能够做到以下几点: 概述为创建数据仓库所进行的抽取,转化及传输过程 识别抽取内容 了解如何检查数据源 掌握抽取技术 列出抽取数据源的工具,抽取/变换/传输 过程 (ETL),抽取源数据 变换/清理数据 索引和概要,向数据仓库加载数据 检测变化 刷新数据,程序,工具,ETL,操作系统,仓库,网关,ETL过程,导入的数据必须是相关的、有用的、高质量的、精确的、可访问的 需要大量的数据仓库开发时间和资源,仓库,操作系统,相关的,ETL,有用的,有质量的,精确的,可访问的,数据聚集区,数据仓库的构建场所 需要多步执行 由ODS,平面文件或关系服务器的表组成
2、 以多层分段传送频繁的配置,抽取,变换,传输 (加载),远程聚集区模型,在仓库环境中的数据聚集地,抽取， 转换， 传输,转换,传输 （加载）,仓库环境,操作型环境,在自身环境中的数据聚集地, 避免对仓库环境的负作用,抽取， 转换， 传输,转换,传输 （加载）,聚集地环境,操作型环境,仓库环境,本地聚集区模型,抽取,转换,传输 (加载),仓库,操作环境,仓库环境,数据聚集区在操作环境内，可能影响操作系统,抽取数据,从源数据中选择字段 不同的数据格式 规则, 审计追踪, 错误修正工具,变换,操作的数据库,数据聚集区,仓库数据库,数据映射,源系统,生产数据 归档文件 内部数据 外部数据,操作系统平台
3、 硬件平台 文件系统 数据库系统和垂直的应用,生产数据,IMS DB2 VSAM NonStop SQL Oracle Sybase Rdb,SAP Shared Medical Systems Dun and Bradstreet Financials Hogan Financials Oracle Financials,有关历史数据 有助于在较长的时间段上做分析 有助于第一次加载 可能需要独特的转换,归档数据,操作型的数据库,数据仓库的数据库,内部数据,计划编制，销售和营销管理数据 通过维护: 电子数据表（结构化的） 文档（非结构化的） 像其他的源数据一样被处理,计划编制行销账目清理,仓库
4、数据库,信息来自外部组织 有关频率，格式和可预测性的问题 使用元数据来描述和跟踪,外部数据,Barrons,Dun and Bradstreet,Purchased databases,Wall Street Journal,Economic forecasts,Competitive information,Warehousing databases,A.C. Nielsen, IRI, IMS, Walsh America,映射,定义哪个操作属性被使用 定义怎样为仓库转换属性 定义仓库中的各种属性在哪里存在 映射工具是有用的,File A F1 123 F2 Bloggs F3 10/12
5、/56,Staging File One Number USA123 Name Mr. Bloggs DOB 10-Dec-56,Metadata File A Staging File One F1 Number F2 Name F3 DOB,程序: C, COBOL, PL/SQL 网关: 透明的数据库访问 内部开发很普遍 工具 初始成本高 连续自动化 数据清理,抽取技术,来源和目标,联机处理机制,数据集市,数据分析,数据挖掘,设计抽取过程,分析: 来源，技术 数据类型，质量，所有者 设计选项: 手动, 定制, 网关, 第三方 复制, 完整, 或变化刷新 设计问题: 视窗, 容量, 数据流
6、通性 自动化, 技术需求, 资源,维护抽取元数据,来源位置, 类型, 结构 访问方法 特权信息 临时存储 故障程序 有效性检查 丢失数据的处理,可能的 ETL 缺陷,源文件丢失 系统故障 不充分的元数据 映射信息不正确 不充分的存储规划 来源结构改变 没有考虑意外事故 不充分的数据验证,保证 ETL 质量,ETL必须: 经过测试 有文档记录 可监控和回顾 必须协调相互没有关系的元数据,抽取工具,映射信息,更新元数据,JCL 文件,基本功能 接口特征 元数据仓库 开放的API 元数据访问 仓库效用 输入和输出处理 清理, 重定格式和审计 参考 培训需求,挑选准则,WTI Partner ETL工具,Carleton Constellar Evolutionary Technologies Informatica Information Builders Oracle EDMS, Toolkits, OADW Prism Solutions Sagent Vality Technology,总结,本节讨论了以下课题: ETT过程是非常必要的，需要大量的数据仓库资源和时间 数据抽取处理需要源数据 你有可能会遇到许多数据源 会有许多数据抽取问题 要考虑ETL工具,实践 10-1 概述,实践包括以下课题: 回答一系列的简略问题 指定一系列陈述的对或错,
