《数据仓库产品优缺点分析与技术发展展望》由会员分享，可在线阅读，更多相关《数据仓库产品优缺点分析与技术发展展望（9页珍藏版）》请在金锄头文库上搜索。
1、.word格式,数据仓库产品优缺点分析及技术发展展望2011年1月，全球IT研究与顾问咨询公司Gartner发布了“2010数据仓库数据库管理系统魔力象限”（Magic Quadrant for Data Warehouse Database Management Systems）报告，此报告对2010年数据仓库领域的16种主要产品进行的整体描述。魔力象限通过分析产品技术、市场份额、客户反应等要素，将数据仓库产品分为领导者、挑战者、有远见者和特定领域者。从报告中可以较客观地得出各数据仓库产品的优势和不足，以及未来技术发展方向，为企业的数据仓库选型提供参考。图1 2010年数据仓库数据库管理系统
2、魔力象限一、 数据仓库产品分析受资料所限，本文重点对报告中的领导者象限产品进行分析，其他产品在国内应用较少，这里只做简单说明。1. TeradataTeradata近几年一直处于数据仓库领导者地位，我行数据仓库也采用Teradata产品。Teradata数据仓库产品线丰富，能够适应各种规模的数据仓库。产品主要是集成的专用数据库设备（集成了服务器、存储、操作系统和数据库），有单节点系列（面向开发和测试）、1系列（面向大规模数据存储分析）、2系列（面向部门级数据仓库）、4系列（采用固态硬盘，面向高速分析）、5系列（面向企业级数据仓库）。Teradata的数据仓库解决方案齐全，以前一直走“高端策略”
3、，在大规模企业级数据仓库客户中占有绝对优势。不过，在其他产品的竞争下，逐渐向中端客户领域扩展。产品优势：l 大数据量处理性能较强l 可线性扩展，实现投资保护l 数据库易于管理和维护l 第三方软件产品丰富产品不足：l 专用设备，环境搭建复杂，扩展时停机时间较长l 混合负载控制存在问题l 各系列产品互联困难l 价格较高2. Oracle ExadataOracle是数据库产品的领军人物，占据全球关系型数据库市场的48%。Exadata是其推出的数据仓库产品，通过专用的集成设备、大容量并行网格结构及Exadata Smart Flash Cache技术实现了处理高并发工作负荷的能力，产品中还增加了分
4、区管理功能、列存储压缩等技术，大幅提高了数据处理性能，能够支持各种规模的数据仓库应用。产品优势：l 事务类任务处理性能较好l 混合负载控制较好l 兼容Oracle产品和工具，易于使用产品不足：l 大数量处理性能上存在不足l 部署和管理复杂，且扩展能力差l 价格和维护成本较高3. IBM NetezzaIBM最初使用DB2提出数据仓库解决方案，并提供了独立数据库软件和数据库机的解决方案，但产品技术优势不明显，且未给予足够重视，市场逐渐萎缩。为弥补不足，2010年IBM收购了专业的数据仓库厂商Netezza，希望利用Netezza的技术来与Teradata、Oracle等产品抗衡。Netezza提
5、供集成的数据库设备Twinfin解决方案，利用专利“流式数据处理架构FPGAs”技术（硬件芯片），在数据通过磁盘时可以将无关数据快速过滤，解决了传统数据仓库产品的服务器和存储间数据流瓶颈问题，实现高性能数据处理。产品优势：l 针对数据分析设计，性价比高l 兼容Oracle语句及主流BI工具l 系统易于管理和维护l 刀片式架构，扩展简单产品不足：l 混合负载控制存在不足l 流技术主要适用于趋势分析，对于精确分析略显不足4. SybaseSybase提供独立的数据库软件Sybase IQ 和集成的数据仓库设备两种解决方案，Sybase IQ 的核心技术是“列存储”，此技术被证明更适合于数据仓库。首
6、先，数据仓库一般只访问记录的部分字段，因此磁盘访问时可以不读取整条记录，只读取需要的字段，大大减少了I/O；其次，“列存储”可以获得比传统数据库更高的压缩比，在海量数据仓库中能节省大量空间；最后，由于查询中的选择条件是通过列来定义的，因此整个数据库能够实现自动索引。产品优势：l “列存储”技术l 混合负载控制较好l 并行查询及扩展能力强l 集成数据挖掘工具，适合实时分析产品不足：l 列存储的一些问题（如载速度、复杂查询等方面较差）l 硬件厂商和第三方软件支持力度正在减弱5. GreenPlumGreenPlum近几年异军突起，以其独特的技术与传统数据仓库产品相抗衡。2010年被EMC收购后，产
7、品线进一步完善，提供独立的数据库软件和集成的数据仓库设备两种解决方案。GreenPlum将SQL和MapReduce功能整合到统一的数据处理框架中，利用MPP架构的并行计算能力满足大规模数据存储和处理需求。产品的一大特色是可与任何基于MapReduce的外部产品协同工作，容易实现当下流行的“云计算”架构；另一大特色是用户可以自行选择开放平台PC服务器搭建海量数据处理环境，降低数据仓库的TCO。产品优势：l 支持行列混合存储，消除了单独行存储和列存储的缺陷l 可在线扩容和维护，无需停机l 数据加载速度快，可实现实时分析l 基于PosgreSQL开发，工具和应用资源丰富l 符合“云计算”发展方向产
8、品不足：l 使用开放平台实现，稳定性相对较差l 大数据量在节点间重分布时，其非专用网络设计易导致性能瓶颈6. 其他产品产品解决方案产品优势产品不足Infobright集成的列存储数据库设备和压缩数据库产品，有开源版本和商用版本l 开源的列存储数据库，第三方软件丰富l 兼容MySQL产品和工具,移植性较高l 利用“元数据知识网格”技术减少数据包以获取更高的性能l 机器数据（如“点击流”）分析方面有优势l 技术需要再不断完善l 混合负载功能缺乏Illuminate集成的数据仓库设备和BI工具l 独特的元数据技术可以在数据加载时自动创建和维护数据间关系，自动消除数据冗余及对关联的数据进行预连接，查询
9、速度快l 部署简单，易于使用l 内部模型复杂、封闭，外部对其产品和技术了解较少l 第三方软件支持较少Aster Data提供集成的MPP数据库设备和库内分析工具l 基于MapReduce开发，对云计算支持较好l 支持行列混合存储l 扩展性较好l 产品不成熟，如表管理可能导致性能问题，混合负载控制能力较差l 没有较完整的解决方案及文档，应用市场较小 1010data 提供基于SAAS的数据仓库和BI解决方案l 基于SaaS模式（投资少、部署简单）l 数据分析速度较快l SAAS分析的劣势，如安全性、远程访问、大数据量传输性能问题l 不能满足企业自己实施数据仓库的需要，系统只能由公司搭建和维护In
10、gres提供开源的数据库软件l 开源数据仓库，技术成熟，第三方软件支持较好l 能够使用X86开放平台搭建，在大内存支持下性能较好l 面向实时任务环境，最大只支持2TB数据l 数据仓库实施经验少，缺少有效的数据模型l 存储管理和混合负载管理较差Kognitio提供数据仓库设备和数据仓库SAAS服务l 基于SaaS模式，在此之上的DaaS(数据即服务)模型能够很好的支持客户构建、管理数据仓库l 数据库产品WX2 在大内存支持下查询和加载速度较好l 大型数据仓库实施案例较少l 数据库的高可用较差l 第三方软件支持较少Microsoft提供MPP数据库软件和数据仓库SAAS服务l 基于SaaS模式l
11、价格优势l 第三方软件支持较好l 数据库只能运行在WIN平台l 性能和高可用性较差ParAccel提供软件解决方案，包括列存储数据库和存储管理软件l 磁盘和内存协同技术使数据处理性能表现出色l 在特殊领域分析模型（如信用卡欺诈）有优势l 一般与第三方BI厂商提供集成的解决方案l 软件不够完善，高可用性较差l 客户支持力度不足，产品问题解决不及时SAND Technology提供列存储数据库软件l 独特的数据标示和压缩技术增强了列存储模型，适合数据分析和归档l 集成文本搜索等数据挖掘功能l 一般与第三方BI厂商提供集成的解决方案l 列存储的劣势l 前端界面不友好Vertica提供列存储数据库软件
12、l 磁盘和内存协同技术提供了高性能和高可用性l 提供多样的实施模型，模型基本无需优化l 基于云架构、MapReduce、Hadoop的产品架构l FlexStore技术提升了加载和查询性能，并实现冷热数据的三级存储归档策略l 混合负载技术不能满足大型数据仓库的要求l 限于小企业和小数据量（如数据集市）分析二、 数据仓库产品技术发展趋势从上面的分析可以看出，每个数据仓库产品都有自己的技术优势和客户群体，同时也表明了数据仓库未来的一些技术发展方向，主要有以下三个方面：1. 集成的数据仓库设备（一体机）将成为主流超过50%的数据仓库厂商提供了数据仓库一体机解决方案，而且越来越多的厂商正在计划加入了这
13、个阵营。一体机集成了服务器、存储和软件，具有安装、配置、管理简单，软硬件协同、高可用性及性能可以最大限度得到同一厂商的保证。根据Gartner预测，未来数据仓库将有70%会采用一体机建设。2. 行列混合存储技术将给数据仓库带来一次技术革新单纯的行存储或列存储在使用上均不能很好的满足数据仓库分析的要求，混合存储技术可以根据数据仓库的访问特点有针对性的改变数据存储结构，在应用不做任何调整的情况下大幅提升系统运行效率，减少空间占用，对于大型数据仓库有重要意义。3. 云计算给数据仓库和BI带来新的启示目前数据仓库发展的障碍之一是用户无法方便地搭建个性化数据分析环境，从而减弱了用户理解和使用数据仓库的热
14、情。云计算技术很好地解决了这一问题，可按需定制资源、易于扩展的特点将使数据仓库变为一种服务（DaaS）。用户不但能方便的访问数据仓库数据，而且可以根据业务分析特点选用“云计算”中丰富的BI工具，使数据分析更加高效，有巨大的发展潜力。三、 未来两年数据仓库发展展望大型数据仓库的数据量已经达到了一个颠覆传统信息管理方式的阶段，因此，数据仓库将从传统的信息存储平台转向分析管理平台，换句话说，数据仓库的存储和访问将转变为交付和理解，数据仓库的价值挖掘逐渐拉开帷幕。数据仓库“理念”也正在发生变化，一方面从支持传统BI的信息库演化成为支持运营分析、企业管理等新应用的分析基础架构；另一方面，数据仓库的ETL工作负载中会逐渐增加在线事务处理（OLTP），数据加载和供给会接近实时。数据仓库产品将演变成一种可以解决新的信息类型和信息资产的平台，这将促使新的技术产生（如操作型商业智能），以便支持更加灵活的数据管理、查询分析以及任务集成。正如Gartner宣称的，数据仓库未来两年将迎来它自问世后最重要的一个转折点。, 专业.专注 .
