《TD员工入职技术培训之Teradata项目实施方法论 V1》由会员分享，可在线阅读，更多相关《TD员工入职技术培训之Teradata项目实施方法论 V1（23页珍藏版）》请在金锄头文库上搜索。
1、Teradata Trainee Technical BookletsCourse 2 Teradatay项目事实方法论By：Yang RonghuaTeradata Confidential2 技术面业务系统的数据质量 历史数据量 用户人数 应用类型 系统维护运行 扩展性能投资面使用成本购买成本管理和运行成本故障成本时间面何时能看到成果 整体规划 度身订制 分步实施应用需求面市场开放给竞争者带来的压力 客户的需求 远景和经营理念 业务发展重点 主管机关的要求建立数据仓库需要考虑的主要因素Teradata Confidential3 数据仓库是一个过程，不是一个产品数据仓库建设及成功的关键因素
2、l解决业务问题 l得到领导的支持 l使用已经证明的 .过程 方法学 Teradata技术Teradata Confidential4 ?规划解决方案支持数据仓库管理(处理流程与操作)物理数据库设计 数据转换应用开发数据挖掘服务设计与实现支持与增强解决方案体系结构设计元数据管理数据仓库评估应用增强逻辑数据模型回顾物理数据库回顾性能调整容量规划解决方案集成定制解决方案规划详细数据分析解决方案准备就绪解决方案实施建议现成解决方案规划数 据 仓 库 策 略 开 发业务探索业务探索解决方案定义逻辑数据模型设计修改逻辑数据模型验证解决方案数据仓库的循环过程Teradata数据仓库实施方法论?规划解决方案支
3、持数据仓库管理 (处理流程与操作)物理数据库 设计数据转换应用开发数据挖掘 服务设计与实现支持与增强解 决 方 案 体 系 结 构 设 计元 数 据 管 理数 据 仓 库 评 估应用增强逻辑数据 模型回顾物理数据 库回顾性能调整容量规划解 决 方 案 集 成定制解决方案规划详 细 数 据 分 析解 决 方 案 准 备 就 绪解 决 方 案 实 施 建 议现成解决方案规划数 据 仓 库 策 略 开 发业务 探索业务 探索解决 方案 定义逻辑 数据 模型 设计修改 逻辑 数据 模型验证 解决 方案数据仓库的循环过程Teradata Confidential5 数据仓库管理物理数据模型数据转换应用开
4、发数据挖掘 服务系 统 体 系 结 构 设 计元 数 据 管 理解 决 方 案 集 成项目具体实施步骤项 目 前 期 准 备业务探索信息探索逻辑数据 模型项目具体实施步骤1. 项目前期准备 2. 业务探索（Business Discovery) 3. 信息探索（Information Discovery) 4. 逻辑数据模型设计 5. 系统体系结构设计 6. 物理数据库设计 7. 数据转换加载ETL 8. 前端应用开发 9. 数据挖掘服务 10.元数据管理 11.数据仓库管理（处理流程与操作） 12.解决方案集成（测试验收与试运行）Teradata Confidential6 1 项目前期准备
5、主要任务： 项目启动会议(Kick-off Meeting) 确认项目范围和主要目标 确认项目阶段性验收及总体验收标准 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标 确定教育训练计划 确定服务流程及方式 交付项目： 项目组织机构 项目人员组成 项目前期准备业务探索信息探索逻辑数据 模型Teradata Confidential7 2 业务探索主要任务： 确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的筛选和分析 交付项目： 业务需求说明书BRL ( Business Requirement List )项目前期准备业
6、务探索信息探索逻辑数据 模型Teradata Confidential8 3 信息探索主要任务： 分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计交付项目： 功能需求列表FRL ( Function Requirement List ) 系统安全性设计说明书 系统命名规范说明书 数据质量分析项目前期准备业务探索信息探索逻辑数据 模型Teradata Confidential9 4 逻辑数据模型设计主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 利用工具： ERWin交付项目： 数据仓库逻辑数据模型LDM 逻辑数据模
7、型说明书项目前期准备业务探索信息探索逻辑数据 模型Teradata Confidential10 4 逻辑数据模型(LDM)示例Teradata Confidential11 5 系统体系结构设计主要任务： 1.对业务、技术环境及企业文化的充分了解，从 技术、组织、教育和支持等方面对系统进行全 面评估 2.定义业务驱动力3.定义数据仓库成功的关键因素 4.定义数据仓库的实施原则 5.对系统体系结构各个组件进行详细设计交付项目： 系统体系结构设计说明书数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential12 5
8、体系结构设计内容用户类型 拓扑结构 网络存取与互连 组织机构 安全性 数据体系结构-逻辑数据模型 -元数据 -数据质量 -命名规范 数据采集与转换 用户存取及工具 备份系统 操作管理Teradata Confidential13 主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义主索引、次索引 非正规化处理（denormalizations） 数据库建立 设计优化 数据库功能测试使用工具： ERWwin交付项目： 物理数据模型（LDM） 物理数据模型说明书 数据库描述语言DDL6 物理数据库设计建模方法： 第三范式 3NF 星型结构 雪花状结构数据仓库管理物理数据 模型数据转换应用开发
9、数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential14 6 物理数据模型（PDM）Teradata Confidential15 7 数据转换与加载（ETL）主要任务： 数据源及其特性定义 数据析取、转换和加载策略设计 构建和测试初始加载的程序和处理流程 构建和测试日常加载的程序和处理流程 40%的工作量在数据转换与加载上使用工具： Teradata数据加载实用程序、C、Ksh、Perl交付项目： 数据转换加载设计说明书 数据映射 （Data Mapping）说明书 数据转换加载脚本 （ ETL Scripts) 加载流程控制（ ETL Proces
10、s Control)数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential16 7 数据清洗方法1) 在源系统上进行清洗 （数据析取前）2) 在加载服务器上进行 清洗（数据析取后、 加载前）3) 在数据仓库里进行清 洗（数据加载后）源系统ETL服务器数据仓库SQL, C, ShC, ShSQLTeradata Confidential17 主要任务： 前端应用体系结构设计 OLAP应用设计(Summary/Fact表及Cub的产生） 前端应用开发（随机查询、预定义报表、 OLAP应用） 撰写用户使用手册 用户测试
11、验收使用工具： 查询报表工具 OLAP工具（Brio,Cognos,MicroStrategy) 基于Web的开发工具(InterDev,ColdFusion) 其他开发工具交付项目： 前端应用体系结构设计说明书 应用模块设计说明书 用户使用手册 8 前端应用开发数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential18 9 数据挖掘服务知识发现和知识应用 - 找到隐藏在数据背后的信息，并将发现的知 识应用于某种目标 主要任务： 业务理解和需求理解 数据挖掘体系结构设计和技术准备 数据理解和数据准备 分析建模和模
12、型评估 知识应用和知识转移使用工具： Teradata Warehouse Miner SAS Clementine交付项目： 数据挖掘需求说明书 分析模型设计说明书 分析模型及分析过程数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential19 10 元数据管理元数据(Metadata) 是指关于数据的数据，即用来描述数据的类型、 来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。 主要任务： 定义元数据使用功能 设计元数据环境逻辑结构 设计元数据环境物理结构 选择合适的元数据管理工具 建立元数据仓库（M
13、etadata Repository) 建立和测试元数据接口使用工具： Teradata Metadata Service交付项目： 元数据管理说明书数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential20 10 元数据开发元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元 数据各部分内容与数据仓库开发过程的对应关系： Teradata Confidential21 11 数据仓库管理主要任务： 设计和开发数据仓库支持体系结构 开发和测试数据仓库日常运作流程 开发和测试性能监视程序 开发和测试数据备份
14、与恢复程序 开发和测试安全系统 设计和开发操作人员/最终用户培训计划 建立用户支持和培训材料使用工具： 系统监控工具和管理工具交付项目： 数据仓库管理过程说明书 数据备份过程设计说明书 安全管理模块设计说明书 用户培训计划及用户使用手册数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential22 12 解决方案集成(系统验收与试运行)主要任务： 建立并执行集成测试计划 建立并执行数据仓库平台测试计划 建立并执行系统验收测试计划 移植开发系统到生产系统 执行用户培训计划 实施数据仓库管理基础设施 项目实施完成 回顾项目状态交付项目： 数据转换管理系统测试报告 数据访问和信息发布系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 系统回顾报告数据仓库管理物理数据 模型数据转换应用开发数据挖掘 服务系统体系结构设计元数据管理解决方案集成Teradata Confidential23 THANK YOU! Q&A
