数据仓库工具

《数据仓库工具》由会员分享，可在线阅读，更多相关《数据仓库工具（45页珍藏版）》请在金锄头文库上搜索。

1、 关于数据仓库关于数据仓库 总体工具介绍总体工具介绍 数据仓库项目是以关系数据库为依托，以数据仓库理论为指导、以 OLAP 为多层次多视角分析，以 ETL 工具进行数据集成、整合、清洗、加载转换，以前端工具进行前端报表展现浏览，以反复叠代验证为生命周期的综合处理过程。 最终目标是为了达到整合企业信息信息， 把数据转换成信息、知识，提供决策支持。 数据仓库不是一门纯粹的技术， 如果从 Oracle、 SQLServer 等专业数据库的角度去学习，就有失偏颇了。数据仓库应该是一种体系结构，它的核心是在于对于数据的整合，通过抽丝剥茧把企业原始数据进行集成、归类、分析，从而提供了企业决策分析需要的 K

2、PI。 数据库和数据仓库从物理设计角度应该是一致的，都是基于传统的关系数据库理论，而且这两者有融合的趋势。SQLServer,Sybase,DB2,Oracle 都是传统的关系数据库，同时只要经过认真的数据模型设计或者参数设置也可以变成很好的数据仓库实体； 与此同时数据仓库也在基于自身的特点不断地进行发展演变，例如 SybaseIQ、Terradata 就是完全的数据仓库，用它来设计OLTP 系统显然是存在各种问题的。 OLAP 也逐渐被融合到数据库和数据仓库产品中来，例如微软的 Analysis Service 和 DB2 的 OLAP Server，通过自身提供的专用接口可以加快多维数据的

3、转换处理。当然象 Essbase这样纯粹的 OLAP 也是非常优秀的产品，实际上 80%以上的大型 OLAP 都是采用 Essbase 的。 说到 ETL，一般市场上最重要最全面的还是 Informatica，但是关系数据库厂商通过自身的吸取和发展得以改进后，仍旧在不断蚕食这一市场，最常见的是与 SQLServer 搭配的 SSIS和 Oracle 的 OWB。 报表工具呢，还是原来的几个专业工具厂商，Hyperion，BO，Congos，Brio，当然价格也不菲，如果想用便宜的还是请选用微软的 ReportService 吧。 以下为数据仓库各个阶段工具的简单介绍 分类分类 产品名称产品名称

4、 描述描述 数据库 SQLServer 适合 Windows 平台 满足中小型数据库和数据仓库应用 Sybase 适合 Windows、Unix 平台 满足中小型数据库和数据仓库应用 DB2 适合 Unix 平台 满足大型、超大数据库和数据仓库应用 Oracle 适合 Windows、Unix 平台 满足大型、超大数据库和数据仓库应用 数据仓库 Terradata Datawarehouse 适合 Unix 平台 满足大型、超大数据仓库应用 DB2 Datawarehouse 适合 Unix 平台 满足大型、超大数据仓库应用 SybaseIQ 适合 Unix 平台 满足大型、超大数据仓库应用

5、OLAP MS OLAP Analysis Service 适合 Windows 平台 满足中小型数据仓库应用 Hyperion Essbase OLAP Server 适合 Unix 平台 满足大型、超大数据仓库应用 IBM DB2 OLAP Server 适合 Unix 平台 满足大型、超大数据仓库应用 SAS OLAP Server 未知 ETL Informatica 适合 Unix、Windows 平台 专业、全面的、强大的 ETL 工具 Oracle Warehouse Builder 适合 Unix、Windows 平台 对 Oracle 比较适用的 ETL 工具 MSServe

6、r Integration Serivces 适合 Windows 平台 对 SQLServer 比较适用的 ETL 工具 BO Data Integrator 未知 前端工具 BO Crystal Report 主要适合关系型报表 提供微 Cube 功能满足 OLAP 建模需要 Hyperion Enterprise 主要适合关系型、OLAP 报表 依托 Essbase 的 OLAP 功能 Brio Performance Suite 未知 MicroStrategy 未知 Congos 未知 MSSQLServer Report Service 主要适合 MSSQLServer 平台 数据

7、仓库数据仓库数据仓库数据仓库Sybase IQ Sybase IQ 介绍介绍 软件厂商：软件厂商： Sybase 授权方式：授权方式： 商用软件 版版本号：本号： 无 版本类型：版本类型： 企业版 语言版本：语言版本： 中文 软件环境：软件环境： Windows、Unix、Linux 操作系统 Sybase IQ 是一个高度可扩展的分析型数据库引擎，专门为分析型应用与数据仓库而设计，使数据仓库应用具备卓越的查询性能与最低的总拥有成本。 不同于传统数据库主要考虑在线的事务进程的设计，IQ 是专门为分析型（非事务型）而构建的，首先关注的是查询的性能，其垂直存储、专利索引技术以及独特的架构使其成为数

8、据仓库的最佳选择。 带压缩的列存储:IQ 按列存储数据，而不是行这与所有其他关系型数据库引擎广泛使用的存储方法方向相反。 决策处理中的很多查询只需要很少量的列数据， 因而与传统的 RDBMS 相比，这种方法在选择满足查询条件的数据时，只须涉及到很少的数据页面。进一步讲，列向量在磁盘上是压缩存储的。按列存储数据时由于相邻接的字段值具有相同的数据类型，所以使 Sybase IQ更容易对数据作压缩处理。数据的列式存储所带来的另一好处是:当需要一列新数据时不会引起数据库结构的改变.这对于很多传统的 RDBMS 而言,恰恰是无可避免的一个弱项。 独特的索引结构:IQ 中使用的索引结构的组合是独一无二的，

9、为数据仓库高度优化的。比特式（bit-wise）索引及相应的压缩技术是 Sybase 的一项专利。Sybase IQ 运用这一技术对数据仓库中的所有字段建立索引， 由此不仅带来查询效率的大幅度提高， 而且还降低了对磁盘空间的使用。在传统 RDBMS 中，不仅实际数据占用磁盘空间，相应的索引也占用磁盘空间，在总量上后者超过前者的情形并不鲜见。 但 Sybase IQ 的比特式索引根本无须增加磁盘空间， 因为 Sybase IQ中的索引就是数据库。Sybase 客户的使用报告表明，IQ 所需的磁盘一般只占原始输入数据所需的空间的 40%-60%，而且，查询速度会比传统的数据库引擎数以千倍的提高。

10、查询优化:IQ 还拥有一个出色的查询优化器，能够对谓词评估、联合类型、排序、分组、数据访问以及其他查询评估步骤做出复杂的决定。由于 IQ 架构允许维护大量索引，而且由于系统在多数情况下通过索引化的列值保留了精确的行的记录数， 优化器能够比许多关系型引擎更好的利用这些信息来生成更佳的查询计划。 并行操作新的多线索体系结构:Sybase IQ 支持并行操作。Sybase IQ 采用了新的体系结构，即单进程多线索结构。这种结构在处理多个并发用户的请求时，能够降低处理和内存方面的开销，并能够支持数百甚至上千个并发用户的能力。本质上讲，IQ 允许多个节点共享磁盘上的数据，每一个节点访问整个 IQ 的共享

11、数据存储区，并且对它直接进行物理存取。在传统的关系型数据库中，为了确保数据的一致性，必须跨节点协调数据库锁。由于在 IQ 中每一个节点使用它自己的 CPU 和内存资源运行，节点之间仅需极少的通讯，因而确保了每个节点之间的零冲突。查询性能与可扩展性相结合，其结果就是，IQ 所拥有的构架使其可以服务于大规模的在线查询用户。 快速加载:IQ 支持批量与非批量数据库加载。并行操作已经内建到面向插入与更新操作的加载器中，因此，无需为多数数据仓库应用提交多个并行加载工作以获得并行化。 IQM 与 MPP 的异同:IQ 共享磁盘，不需要对数据库进行分区。MPP 系统由于需要对数据表进行水平数据分区，大大增加

12、了工作量及维护和管理数据库所需的成本。IQ 不受错误的数据和查询的影响，与 MPP 系统不同，它能够有效地管理不同规模的节点。 Sybase IQ Sybase IQ 独特的优势独特的优势 信息正成为驱动企业成功的引擎，为了赢得成功， 你需要比你的对手更迅速的将巨量的信息转化为智慧的决策。因此，查询性能与可扩展性是今天数据仓库必不可少的功能特性。这意味着电子商务可以将数据转化为深邃的洞察力与真正的经济价值， 同时也意味着可以用更低的费用提供大规模用户的查询。对企业来说，它意味着数据仓库的实现更加简单，而无须再承担高额的预 算所带来的的威胁。 除此之外，IQ 独特的架构特征还能带来一些关键的智能

13、效果: 快速查询:Sybase IQ 为你的最终用户提供的回答比使用传统数据仓库快 10 到 1000 倍，而不论存在多少数量的用户和查询。 这意味着查询结果将在几秒或几分钟内返回， 而传统的技术却需要花费几小时或几天。同时，由于 Sybase IQ 可以对数据进行实时加载，而不影响查询性能，因此用户可以高效的基于最实时的信息做出最佳的决策。 高度的可扩展性与灵活性:Sybase IQ 的设计允许数据仓库从基础开始扩展，从很小扩展到非常巨大的规模。这一点已经完全被验证: 首先，它可以支持数以千计的用户进行查询；同时，它支持各种服务器，几十个节点，几百个 CPU，48TB 以上的输入数据。可扩展

14、性对 Sybase IQ 而言，举重若轻，你可以从一个小型的数据仓库开始，扩展到大型的数据仓库，也可以从大型开始扩展到超大型的数据仓库。 节约存储成本/数据压缩:Sybase IQ 压缩数据仓库可以多至 70%。由 TPC 测试专家 Francois主持的基准测试中，Sybase IQ 加载了 48.2TB 的原始数据，而将其压缩到 22TB 的数据仓库中。同样的 48.2TB 数据可能会膨胀到 120-240TB。与传统数据库相比，大大节约了存储成本。 降低维护成本:Sybase IQ 彻底消除了为每个查询进行调优的需要，消除为管理和维护新增节点和数据花费大量时间和资源的需要， 同时降低了数

15、据管理成本， 减少了维护工作量及其相关成本。 加快部署:由于 Sybase IQ 从下到上都是为分析而构建，所以相比传统的数据库，仅需很少的部署时间。使用它，不需要为分析而在数据库上面花费很多工作。部署时间可以大幅减少多达80%。 利用现有投资:正如所有 Sybase 技术一样的特点，Sybase IQ 基于开放标准，确保与企业现有 IT 资产的集成与协同工作。 数据仓库数据仓库数据仓库数据仓库NCR Teradata WarehousNCR Teradata Warehouse e 介绍介绍 软件厂商软件厂商： NCR 授权方式授权方式： 商用软件 版本号版本号： 无 版本类型版本类型： 无

16、 语言版本语言版本： 中文 软件环境软件环境： Windows、Unix Teradata Warehouse 8.2 版，是一套包括硬件、软件以及专业咨询服务的全面套件，为前端操作、客户服务和策略计划提供实时商业智能，以支持策略决策和数以万计的日常运营事务。 Teradata Warehouse 8.2 版本通过技术升级以提供实时智能。这些独特功能够提供高速性能、大量的并发查询、高度系统可用性、事件监控、简化系统管理、方便企业整合以及支持短期操作性和长期策略性的工作负载。 Teradata Warehouse 8.2 整合了业界采用动态数据仓库众多领先客户认可的产品精髓。目前已有许多行业采用的动态数据仓库， 已带领着我们不断强化新的解决方案， 包括降低实施的成本和人力、增加混合工作负载的可预测性包括短期操作和长期策略查询。 例如，采用 Teradata 动态数据仓库的金融服务领域用户能够通过所有渠道对客户交易进行评估，从而更好地了解客户需求。某些交易行为将触发信息并传送给分行经理或语音客服代表，信息中并提供个人化的产