《精编》数据仓库的设计方法

《《精编》数据仓库的设计方法》由会员分享，可在线阅读，更多相关《《精编》数据仓库的设计方法（72页珍藏版）》请在金锄头文库上搜索。

1、数据仓库设计 第3章数据仓库设计 3 1数据仓库的需求与规划3 1 1数据库设计方法简述3 1 2数据仓库开发流程3 1 3数据仓库需求分析3 1 4数据仓库规划3 2建立数据仓库3 2 1数据仓库的平台与结构选择3 2 2数据仓库接口与中间件设计 3 2 3数据仓库的数据抽取 加载与复制3 2 4数据仓库逻辑模型的确定3 2 5数据仓库物理模型的确定3 2 6数据仓库测试3 3数据仓库典型解决方案 3 1 1数据库设计方法简述 在相当长的一段时期内 数据库设计主要采用的是手工试凑方法 按照规范设计的思想 一般将数据库设计细分为数据库需求分析阶段 数据库概念设计阶段 数据库逻辑设计阶段 数据库

2、物理设计阶段 数据库实施阶段和数据库运行 维护六个阶段 在数据库实施阶段 设计人员的主要工作是使用DBMS所提供的语言和宿主语言 根据数据库逻辑设计阶段和数据库物理设计阶段的成果建立数据库 并编制和调试数据库应用程序 在数据库运行和维护阶段 设计人员的主要工作是将是运行后的数据库正式运行 并在运行过程中 对数据库所反映出的问题不断修改 评价 调试和完善 实际上 数据库实际步骤也包括了数据库应用系统的设计过程 有关对数据处理特性的描述中 不同的数据库的设计过程 数据库设计的不同阶段应该具有不同的数据模式 如在需求分析阶段 应该是用户应用需求模式 在概念设计阶段 应该是产品的概念模式 而在逻辑设计

3、阶段 则应该是有关数据产品支持的数据模型 从数据仓库的应用角度来看 DSS分析员一般是企业的中上层管理人员 他们对决策分析的需求不能预先做出规范的说明 只能给设计人员一个抽象的 模糊的 描述 图3 1数据库设计步骤 应用需求 数据 处理 转换规则 DBMS功能 优化方法 需求收集和分析 设计概念结构 设计逻辑结构 数据模型优化 设计物理结构 评价设计 性能预测 物理实现 试验性运行 使用 维护数据库 应用要求 DBMS详细特征 需求分析阶段 概念设计阶段 逻辑设计阶段 物理设计阶段 数据库实施阶段 数据库运行 维护阶段 不满意 不满意 图3 2数据库结构设计 1 设计阶段 设计描述 数据 处理

4、 需求分析 数据字典 全系统中数据项 数据流 数据存储的描述 数据流图和判定表 判定树 数据字典中处理过程的描述 概念结构设计 逻辑结构设计 概念模型 E R图 数据字典 系统说明书包括 A 新系统要求 方案和概图B 反映新系统信自流的数据流图 某种数据模型 关系 非关系 系统结构图 模块结构 图3 2数据库结构设计 2 物理设计 实施阶段 运行维护 性能监测 转储 恢复数据库重组和重构 新旧系统转换 运行 维护 修正性 适应性 改善性维护 存储安排方法选择存取路径建立 分区1 分区2 模块设计IPO表 IPO表 输入 输出 处理 编写模式装入数据数据库试运行 Creat Load 程序编码

5、编译联结 测试 Main If Then end 图3 3数据库的不同模式 应用要求 应用要求 应用要求 应用要求 概念模式 逻辑模式 外模式 外模式 外模式 外模式 内模式 应用1 应用2 应用3 应用4 应用1 应用2 应用3 应用4 综合 转换 映象 映象 3 1 2数据仓库开发流程 设计和建立数据仓库应采取工程管理的方式进行 1 数据仓库系统的4个阶段 1 设想阶段 在数据仓库设想阶段 一般是为了适应特定的商业应用提出数据仓库系统的发展前景 2 规划和成长阶段 此阶段为开展商业活动 3 控制阶段 在这个阶段要用控制和整合的办法将应用系统整合 把聚焦点正确地转移到 集中化方法 上 以求在

6、企业级的真正数据仓库中 为企业决策分析提供强有力的支持 从而将多个数据仓库结合起来 形成一个决策支持环境 4 稳定阶段 主要任务是在使用决策支持和数据仓库过程中不断的改进 是数据仓库逐渐成熟 2 数据仓库的开发流程 1 数据仓库规划分析阶段 在该阶段的工作内容主要包括 A 分析数据仓库应用环境 调查数据仓库开发需求 完成数据仓库的开发规划 B 建立包括实体关系图 星型模型 雪花模型 元数据模型以及数据源分析的主题区数据模型 并根据主题区数据模型开发数据仓库逻辑的模型 2 数据仓库设计实施阶段 在该阶段的工作内容主要包括 A 按照数据仓库的逻辑模型设计数据仓库的体系结构 B 设计数据仓库的物理数

7、据库 C 用物理数据库元数据填充面向最终用户的元数据库 D 对数据仓库中每个目标字段确认其在业务系统或外部数据源中的数据来源 E 开发 或购买 用于抽取 清洁 交换和合并数据等中间件的程序 F 将数据从现有系统中传送到仓库中 3 数据仓库的使用维护阶段 在该阶段的工作内容主要包括 A 将数据仓库投入实际应用 并在应用中改进和维护数据仓库 B 对数据仓库进行效益评价 以为下一个循环提供依据 图3 4数据仓库的生命周期开发应用全过程 开发概念模型 规划与确定需求 数据仓库评价 数据仓库维护 数据仓库应用 填充与测试数据仓库 开发中间件 确定数据抽取源 数据库与元数据设计 设计体系结构 开发逻辑模型

8、 数据仓库开发过程 规划分析阶段 设计实施阶段 使用维护阶段 3 数据仓库的开发特点 数据仓库的使用也即在数据仓库中建立DSS应用 数据仓库的开发特点包括 1 数据仓库开发要从数据出发 2 数据仓库使用的需求不可能在开发初期就明确 3 数据仓库的开发是一个不断循环的过程 是启发式的开发 3 1 3数据仓库需求分析 数据仓库的需求分析根据不同领域可以划分为业主 投资者 的需求 设计的需求 开发者的需求和最终用户的需求等方面 1 业主需求的分析数据仓库的业主关心的是创建数据仓库的目标 建立数据仓库给组织战略带来的影响 创建数据仓库所需的投资费用以及所具有的应用前景 业主常常参与数据仓库概念模型的认

9、可和评审 批准开发方案 为系统以后的不断升级和连续投资进行决策 2 设计者需求的分析数据仓库设计者不但要收集业主对数据仓库的需求 还要收集实现这些需求所需的技术要求 设计者介于投资者和实现者之间 企业结构规划 EAP 法是用于结构设计的一种最有效的方法 在该法中 设计者可以实现以下3种结构 A 数据结构 B 应用程序结构 C 技术结构 3 开发者需求的分析开发者负责数据仓库各个构件的物理安装和集成 开发者需求进一步包括如下四个方面 A 技术需求B 试用需求C 数据仓库产品就绪需求D 开发与使用人员及其技术需求 4 最终用户需求的分析数据仓库相对最终用户而言是一个黑箱 他们只能通过查询 报表工具

10、和数据仓库内部信息的某种影射关系来访问数据仓库内部数据 因而 最终用户的需求主要体现在对工作流程的分析 决策的查询需求 报表需求 操作需求和数据需求等方面 同时 在进行数据仓库的最终用户需求分析时 还需要对数据仓库的主题域 信息的粒度 数据仓库的维度进行分析 3 1 4数据仓库规划 1 项目开发小组 1 项目开发小组概述 不是所有的团体都是小组 一个团体要作为一个小组成功地运作 必须具备三个基本的条件 A 要完成的任务必须清楚明确 B 小组必须是明确确定的 C 小组必须对它的项目有自始至终的控制 建立高效小组的四项基本原则是内聚力 目标 反馈和共同工作框架 2 创建项目开发小组当小组开始成为整

11、体的时候 他们首先要确定和接受一系列共同的目标 确立目标后要做的第一件事就是明确责任 没有明确的职责分工 就 小组就要花一些时间去搞清楚什么事情必须做 决定谁来做哪一件工作 决定什么时候做和怎样去做 小组确定了目标 分派好角色后 就要确定一个达到目标的战略了 小组成员接着再确定他们将要用来开始工作的资料 并将其存档 小组成员们都很忙 他们可能没有多少时间来聚在一起 这就破坏了小组工作的一个关键 交流 2 项目开发小组对数据仓库规划 与其他项目一样 一个好的计划能带来有效的开端 数据仓库项目开发小组必须要对即将开发的数据仓库项目进行整体规划 作出项目开发计划书 以使项目变得易于理解 表3 1数据

12、仓库项目对照表 1 项目1 项目2 业务驱动因素 竞争性的市场使一家金融组织认识到 它必须开始利用其日常活动中包含的大量信息 企业的资产很多 但它没有预测其信用卡使用状况和利润率的能力 一家财产和事故保险公司无法为有多张保险单和复杂保险险种的顾客传递统一的结账数据 因此要求将多个来源中的数据与一个能生成统一报表和进行用户查询的数据模型对应起来 数据范围 一个主题区 信用卡 多个主题区 包括 收入 赔款 和 顾客 业务原因 向接受该银行信用卡的组织宣传信用卡 如趋势 人口统计特征等 的决策支持项目 业务支持 数据合并 分类 战略性的 战术性的 时间范围 3 6个月的增加业务价值 6 9个月取得初

13、步成果 技术范围 公司近期政策要求把所有新的商务软件都放在客户机 服务器体系结构上 用现在技术迅速产生结果 以后可以加入新技术 表3 1数据仓库项目对照表 2 项目方法 高度循环性的DW开发 项目每六个月交付一次成果 然后继续逐步交付结果 假设 约束 可以得到优秀的员工 最终用户一开始就能接受特别查询 可以得到优秀员工 角色 用户项目代表项目经理数据建模人员业务分析人员系统分析员开发人员用户主题事务专家 用户项目代表项目经理数据建模人员业务分析人员系统分析员开发人员用户主题事务专家 所选的步骤 建模决策者的需求主题区分析源系统分析最终用户 EU 访问方法设计EU访问方法界定EU访问方法开发交换

14、设计物理数据库设计DW开发DW填充和实现 建模DSS体系结构决策者的需求主题区分析源系统分析EU访问方法设计变换设计物理数据库设计DW开发DW填充和实现 除了项目开发计划书外 项目开发小组的项目规划活动还将产生 A 文档化的业务驱动因素 B 数据范围 C 时间范围 D 业务原因 E 总体方法 F 参与者及其作用 G 假设和约束 H 项目管理战略 3 2 1数据仓库的平台与结构选择 1 数据仓库的技术平台 1 单层结构 主要是指在数据源和数据仓库之间共享平台 或者让数据源 数据仓库 数据集市与最终用户工作站使用同一个平台 2 客户 服务器两层结构 在这类结构中 一层为客户机 一层为服务器 最终用

15、户访问工具在客户层运行 而数据源 数据仓库和数据集市位于服务器上 该技术结构一般用于普通规模的数据仓库 3 三层客户 服务器结构 这类结构包括基于工作站的客户层 基于服务器的中间层和基于主机的第三层 主机 宿主 层负责管理数据源和可选的源数据转换 服务器运行数据仓库和数据集市软件 并存储仓库的数据 客户工作站运行查询和报表运用程序 且还可以存储从数据集市或数据仓库卸载的局部数据 4 多层式结构 这是在三层客户 服务器结构上发展起来的数据仓库结构 2 数据仓库的体系结构 1 信息获取层 负责数据的收集 提纯 净化和聚合 以及从组织外部数据源和组织的业务处理系统中获取数据 2 信息存储层 提供包含

16、时点信息的单一逻辑信息 这种数据通常以最分散的方式存放 需要尽可能使物理设计符合数据模型 这对最终产生满足各种设计要求的灵活性是十分重要 3 信息传递层 是数据仓库结构中支持一套共用的表示工具和分析工具的组成部分 3 数据仓库的数据库设计 数据仓库的数据库主要包含存储用户进行决策分析的数据库和描绘数据的元数据库 存储用户分析数据的数据库可以采用关系型数据库 多维数据库和对象数据库实现 元数据库是数据仓库的灵魂 没有元数据库 用户就无法对数据仓库数据进行良好的定义 组织和管理 3 2 2数据仓库接口与中间件设计 1 数据仓库的数据源确定以及与业务处理系统接口的设计 1 数据仓库的数据源确定要为数据仓库从数据源中抽取为管理决策分析所使用的数据源 首先要对所抽取的数据源进行正确的定义 数据源的定义要确定数据仓库主题所需各数据源的详细情况 包括数据源所在计算机平台 拥有者 数据结构 使用该数据源的处理过程 数据仓库更新计划等 为了保证数据的更新需要 还需要为数据仓库中的每个目标列确认它在业务系统或外部数据源中的数据来源规则 以便利用数据获取中间件 从源系统中获取数据 并加载到数据仓库中 2 数