《数据仓库解决方案概述》由会员分享，可在线阅读，更多相关《数据仓库解决方案概述（51页珍藏版）》请在金锄头文库上搜索。
1、Sybase DW/Business IntelligenceSybase DW/Business IntelligenceSybaseSybase中国有限公司中国有限公司中国有限公司中国有限公司议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具“数据仓库是在企业管理和决策中面向主题的,集成的, 与时间相关的和不可修改的数据集合”Bill Inmon数据仓库定义数据仓库定义数据仓库定义数据仓库定义OLTP系统系统财务系
2、统财务系统业务系统业务系统计费系统计费系统5-10 年年过去过去详细数详细数据据当前当前详细数据详细数据轻度轻度汇总数据汇总数据高度高度汇总数据汇总数据数据集市数据集市用户分析用户分析网络资源分析网络资源分析数据仓库数据仓库数据仓库数据仓库数据仓库数据仓库/决策分析系统决策分析系统网管系统网管系统数据仓库是完全不同的数据库系统数据仓库是完全不同的数据库系统数据仓库是完全不同的数据库系统数据仓库是完全不同的数据库系统操作操作(业务业务)系统特性系统特性 事务处理性能是第一位的 支持日常的业务 事务驱动 数据是当前的并在不断变化 存储详细数据 (每一个事件或事务) 面向应用 针对快速预定义的事务优
3、化设计 可预见的使用模式 支持办事人员或行政人员信息信息(分析分析)系统特性系统特性 支持长远的业务战略决策 分析驱动 数据是历史的 数据是静态的，除数据刷新外 数据反映某个时间点或一段时间 数据是汇总的 面向主题 优化是针对查询而不是更新 支持管理人员和执行主管人员DW/BI DW/BI 在电信行业的应用在电信行业的应用在电信行业的应用在电信行业的应用 - - How ?How ?l立足于现有的立足于现有的OLTP系统系统l当前数据和历史数据当前数据和历史数据l集中整合之后，构建一个集中整合之后，构建一个庞大的数据仓库庞大的数据仓库l面向业务分析和决策层面向业务分析和决策层l运用多维分析方法
4、，充分运用多维分析方法，充分挖掘数据中的信息挖掘数据中的信息l应用应用DW/BI的三步曲的三步曲数据抽取数据抽取数据管理数据管理数据分析数据分析INFORMATION 信信 息息u数据仓库数据仓库( (Data Warehouse)Data Warehouse)是一种专为联机分析应用是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境和决策支持系统提供数据源的结构化的数据环境u数据仓库要解决的问题是从数据库中获取信息的问题。数据仓库要解决的问题是从数据库中获取信息的问题。 信信 息息INFORMATION DW/BI DW/BI 在电信行业的应用在电信行业的应用在电信行业的应用在电
5、信行业的应用 - - 小结小结小结小结什么是数据仓库什么是数据仓库什么是数据仓库什么是数据仓库( (Data Warehouse) Data Warehouse) ？业务系统业务系统外部数据外部数据外部数据外部数据财务财务财务财务计费计费计费计费网管网管网管网管Information Access InfrastructureInformation Access Infrastructure通用信息访问、处理层（基础数据库）通用信息访问、处理层（基础数据库）通用信息访问、处理层（基础数据库）通用信息访问、处理层（基础数据库）企业级数据仓库企业级数据仓库企业级数据仓库企业级数据仓库Global
6、CatalogGlobal Catalog集成的信息管理集成的信息管理设计和元数据维护设计和元数据维护决策支持应用决策支持应用决策支持应用决策支持应用Data Data MartsMartsData Data MartsMartsData Data MartsMartsData Data MartsMartsData Data MartsMartsData Data MartsMarts数据仓库的实际构造示意图数据仓库的实际构造示意图数据仓库的实际构造示意图数据仓库的实际构造示意图议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解
7、决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具SybaseSybase数据仓库相关产品的技术构成数据仓库相关产品的技术构成数据仓库相关产品的技术构成数据仓库相关产品的技术构成RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterpr
8、ise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal MetadataSybaseSybase数据仓库相关产品介绍数据仓库相关产品介绍数据仓库相关产品介绍数据仓库相关产品介绍一个集成化的产品集一个集成化的产品集集成的主要产品集成的主要产品集成的主要产品集成的主要产品lIntegratel
9、Enterprise ConnectlReplication ServerlPowerMartlDesignlWarehouse ArchitectlManagelSybase ASIQlVisualizelBriolCognoslAdministerlWarehouse Control CenterWarehouseWarehouseControlControlCentreCentre议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（
10、元数据）的管理工具设计设计设计设计: : 成功的关键成功的关键成功的关键成功的关键l数据库的设计对数据仓库系统的整体性能、装载和数据库的设计对数据仓库系统的整体性能、装载和l建立索引的时间以及数据量的增长等的影响超过建立索引的时间以及数据量的增长等的影响超过l任何其它方面。任何其它方面。数据仓库设计工具数据仓库设计工具数据仓库设计工具数据仓库设计工具WarehouseArchitectWarehouseArchitect为数据仓库的设计提供三大功能：多维建模度量、维、属性事实表，维表维层次表，事实层次表设计向导聚合（Aggregation Wizard）分区（Partitioning Wiza
11、rd）逆向工程数据源优化代码生成目标数据仓库引擎（IQ，RDBMS)OLAP分析环境Time identifier = Time identifierProduct identifier = Product identifierCustomer identifier = Customer identifierStore identifier = Store identifierCustomerCustomer identifierdoubleCustomer namechar(30)Sales FactProduct identifierdoubleTime identifierdoubleC
12、ustomer identifierdoubleStore identifierdoubleSales totalrealProfitsrealStoreStore identifierdoubleStore namechar(50)TimeTime identifierdoubleDatetimestampMonthchar(50)QuarterdoubleYeardoubleProductProduct identifierdoubleProduct descriptionchar(80)设计设计设计设计: :WarehouseArchitectWarehouseArchitect议程议程
13、议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成挑战多个、多种异构数据源硬件，OS，RDBMS，文件数据不规范，需要做大量的清洗和整合转换规则复杂，繁多繁琐的日常性工作，占80%工作量数据质量保证数据增量抽取抽取工作过程化，自动化数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、
14、清洗、集成成功的关键支持多个、多种异构数据源轻松方便地设计数据的清洗，转换和整合规则日常事务性工作自动化完成有完善的数据质量保证体系有完备的数据增量抽取直观，面向过程化设计；自动化的执行开放性，可扩展性，易于实施和维护数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成数据抽取、转换、清洗、集成解决的方案手工编程实现使用工具设计和实施PowerMart/PowerCenter开发环境，一系列工具用于设计、执行和维护数据的抽取、转换和装载流程抽取转换引擎(服务器)，自动执行集成集成集成集成: : PowerMartPowerMartSourceDatabasesTarg
15、etDatabaseDesignerServer ManagerRepository ManagerWarehouseDesignerMappingDesignerTransformationDeveloperSourceAnalyzerRepositoryServer EngineSybaseInformixOracleMicrosoftIBM/UDBODBCDB2SAPPeopleSoftVSAMFlat FilesWeb LogsXMLIBM MQ GatewaysSybaseInformixOracleMicrosoftODBCIBM/UDBSAP BWPeopleSoft EPMFl
16、at FilesGateways议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具数据存储、管理数据存储、管理数据存储、管理数据存储、管理l挑战挑战l数据规模数据规模l查询性能查询性能l装载速度装载速度l易于管理易于管理l存取访问存取访问成功的关键快速，高效数据存储技术出色的查询性能 - 特殊的索引技术，并行查询可伸缩性 - GB 到 TB 级易于管理 - 方便，灵活，GUI存取访问 - 数据随时可用数据管理数据管理数
17、据管理数据管理解决的方案通用的关系数据库系统专门的数据仓库服务器Sybase IQ专门为数据仓库/数据集市设计的关系型数据库专门针对OLAP/DSS而优化的索引和查询处理技术Adaptive Server IQ数据存储：数据存储：数据存储：数据存储： Adaptive Server IQAdaptive Server IQl无处不索引无处不索引(Index EVERYWHERE)l数据压缩数据压缩(通常达到原始数据的通常达到原始数据的 70 - 75%)l垂直存储技术垂直存储技术(Vertical Partitioning)l专利的专利的Bit Wise索引技术跨越索引技术跨越Bitmap的限
18、制的限制l多种索引类型：多种索引类型：FP,LF,HNG,HGl低级数的限制从低级数的限制从100扩充到扩充到1000l预连接的索引提供额外的显著提高性能手段预连接的索引提供额外的显著提高性能手段(Join Index)l支持任意设计模式支持任意设计模式l星型、雪花、雪暴、星座模式星型、雪花、雪暴、星座模式l普通关系模式普通关系模式l支持任意加载方式支持任意加载方式l文件、内部数据、外部数据库直接加载文件、内部数据、外部数据库直接加载l开放的接口开放的接口计算计算“NY”州州A类商店的类商店的平均销售额平均销售额当表的记录数从几万条变为千万和上亿条时，传统RDBMS技术面对的问题:u表扫描的性
19、能极端低下u冗余设计代价高昂、查询读取的无效字段过多u低级数类型数据上索引的失效u普通索引加载和空间代价，造成不能任意建造u即席查询的SQL顺序对性能有显著影响u数值型比较和运算，无恰当手段加速处理传统传统传统传统RDBMSRDBMS不适合数据仓库不适合数据仓库不适合数据仓库不适合数据仓库IQIQ的特殊存储方式的特殊存储方式的特殊存储方式的特殊存储方式- -垂直存储（按列存储）垂直存储（按列存储）垂直存储（按列存储）垂直存储（按列存储）Sybase IQ: 数据是按列存储数据是按列存储的，而不是按行存储的，而不是按行存储好处好处: l只存取查询所需的数据只存取查询所需的数据l数据类型是一致的，
20、因数据类型是一致的，因而可以很容易被压缩而可以很容易被压缩l数据库易于修改和管理数据库易于修改和管理Sybase IQ: 只读完成查询所只读完成查询所 涉及到的列涉及到的列计算在纽约的计算在纽约的“A”类商店类商店的平均销售额的平均销售额好处好处: 无须使用其他的技术，无须使用其他的技术，Sybase IQ 就可以减少就可以减少I/O 超过超过 90%IQIQ的特殊存储方式的特殊存储方式的特殊存储方式的特殊存储方式- -垂直存储（按列存储）垂直存储（按列存储）垂直存储（按列存储）垂直存储（按列存储）“How many MALES are NOT INSURED in CALIFORNIA?Ge
21、nderMMFMM-800 Bytes/Row10MROWSStateNYCACTMACA-RDBMSRDBMSInsuredYYNYNMYCAMNCAFYNYMNCA1243Gender Insured State+11011101010110MBits10M Bits x 3 col / 816K Page = 235 I/Os800 Bytes x 10M 16K Page= 500,000 I/Osn基本上只能使用表扫描基本上只能使用表扫描n查询过程读取了太多的无效数据查询过程读取了太多的无效数据IQIQExample: I/O Example: I/O 的明显减少的明显减少的明显减少
22、的明显减少IQIQ的索引特点的索引特点的索引特点的索引特点索引即是数据没有索引和数据的分别任何一列可以建立多个索引系统保证至少会存在一个索引（FP）索引的选择和设计主要基于：数据的级数（离散值的个数）在查询中的使用方式和SQL语句的顺序无关索引的种类索引的种类索引的种类索引的种类Fast Projection(FP)数据压缩存储根据数据的特点会自动使用三种方式中的一种Low Fast (LF)Bit map 索引High Non Group (HNG)Bit-wise 索引High Group (HG)G-Array (包括一个改进的B-tree)FP Index normal FPFP In
23、dex normal FPl级数（取值个数）级数（取值个数） 65536l数据被压缩存储数据被压缩存储ColorRedBlueGreenRedFP Index - FFPFP Index - FFPl级数级数 256l内建一个内建一个1-byte的参照表的参照表Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup TableDataLF IndexLF Indexl传统的传统的 Bit Map 索引索引l级数小于级数小于1000 l可以唯一可以唯一l使用的可能性使用的可能性lJoinslGroup bylMIN, MAX, S
24、UM, AVG functionslWhere clause predicateslEquality / Inequality, Ranges, IN lists.冗余设计时数据量比想象中要小得多每一个取值都有一个相应的位可以适应新的取值出现和行的增加查询：select count(*) from customers where state =ALLF IndexLF IndexHNG IndexHNG IndexlBit-Wise Indexl数据按照二进制存储数据按照二进制存储l垂直分布和处理垂直分布和处理lSybase的专利技术的专利技术lcannot be used with cert
25、ain data typesl使用最佳范围使用最佳范围lrange searches for high cardinality columnsl运算运算 (sum and average functions)适合大量二进制的存储数据垂直分片 即每一个位都可以在内部被独立操作由于肯定存在大量的位同时为1或0，因此IQ在内部处理时会自动做数据压缩HNG - High Card Bit-Wise IndexHNG - High Card Bit-Wise IndexSales in binary form8 bit4 bit2 bit1 bit0110100101011011100100110111
26、1100Sales in binary form8 bit4 bit2 bit1 bit01101001010110111001001101111100HG IndexHG Indexl在在Bit-Wise的基础上增加一个的基础上增加一个B-Tree，并保证并保证树在加载时不会重建树在加载时不会重建l最佳使用场合：最佳使用场合：lJoinslSelect Distinct, Count DistinctlGroup ByDateZipStateClassSales3/16NYA64/19MAA95/15NYB56/111CTA117/16NYB99/23RIB38/37CTA72/26NYA1
27、21 104 64 5 61,5,8,.10001001突破性的速度突破性的速度 闪电般的快速查询 快速装载无限的灵活性无限的灵活性 任何查询 任何模式非常经济非常经济 压缩的数据存储 支持多用户查询Sybase IQAdaptive Server IQ 12:Adaptive Server IQ 12:专门设计的数据仓库服务器专门设计的数据仓库服务器专门设计的数据仓库服务器专门设计的数据仓库服务器IQ12IQ12的技术参数的技术参数的技术参数的技术参数lColumn limit - now 16,000 per table (up from 255 - Great for SAS & SPS
28、S customers)lRow limit - now 281,474,976,710,700 (thats 281 Trillion Rows and change)lDevice size - up to 128GB (depending on OS)lDevice limit - now 65,524 (up from 2,000) lDatabase Size limit - 8.4 PetabytesSybase IQ Sybase IQ 真正的数据仓库真正的数据仓库真正的数据仓库真正的数据仓库AndyneBrioBusinessObjectsGentiaInformationAd
29、vantageInformationDiscoveryInfoSpaceLinguisticTechnologyTeleranTechnologySeagateSoftwareMathsoftAny Data, Any Time, AnywhereCognosAdaptiveAdaptiveServerServerIQIQ议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具信息生产者信息生产者信息生产者信息生产者信息消费
30、者信息消费者信息消费者信息消费者BrioQueryBrioQuery Designer DesignerBrioQueryBrioQuery Explorer ExplorerBrioQueryBrioQuery Navigator NavigatorBrio.InsightBrio.InsightBrio.Brio.QuickviewQuickviewBrio Enterprise ServerBrio Enterprise Server客户机服务器客户机服务器客户机服务器客户机服务器Web/IntranetWeb/Intranet高级用户高级用户高级用户高级用户活跃的分析活跃的分析活跃的分
31、析活跃的分析人员人员人员人员报表查阅者报表查阅者报表查阅者报表查阅者信息技术人员信息技术人员信息技术人员信息技术人员Brio.Enterprise 6.0 Brio.Enterprise 6.0 产品家族产品家族产品家族产品家族Brio Enterprise Brio Enterprise 功能服务功能服务功能服务功能服务功能服务功能服务BrioQuery查询查询OLAP 查询查询在线分析在线分析 (OLAP)报表报表EIS/脚本脚本制图制图审核审核两层安全防护两层安全防护Broadcast Server信息发布信息发布作业调度作业调度批处理查询批处理查询/报表报表事件驱动处理事件驱动处理 报
32、表广播报表广播OnDemand Server零管理客户端零管理客户端Web查询查询适应型报表适应型报表多层安全防护多层安全防护集群服务器支持集群服务器支持SSL (安全套接层加密安全套接层加密)OnDemand ServerBrioQueryIQ数据仓库数据仓库Brio.InsightBrio.InsightBrio.Brio.QuickviewQuickviewBrio.Brio.FreeViewFreeViewBroadcastServer数据源数据源数据源数据源- -IQIQ数据仓库数据仓库数据仓库数据仓库TransformerTransformerImpromptuImpromptu*
33、.iqd任何数据源（关系型、平面型,数据仓库) 自动生成PowerCube 用户定义的业务规则和维度 10:1的数据压缩图形化的浏览多维数据 完全交互式的报表探察PowerPlay: OLAP PowerPlay: OLAP 环境环境环境环境CognosCognos BI BI 产品结构产品结构Data WarehousePC DatabaseOracle,Sybase,Informix,SQL Server,ODBC GatewayImpromptu.DBF.DB.DBF, .DB, .XLS,.WKS, .CSVPortfolioTransformerAuthenticator.MDCPo
34、werCubes.PBBPowerPlay.PYH .MDL.IQD.PPR.IMR议程议程议程议程数据仓库解决方案概述数据仓库解决方案概述SybaseSybase数据仓库技术解决方案数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具元数据管理：什么是元数据元数据管理：什么是元数据元数据管理：什么是元数据元数据管理：什么是元数据l提供数据对象的准确、全面、一致的定义：提供数据对象的准确、全面、一致的定义：l什么是什么是 “customer”的定义，其内容是什么的定义，其内容是什么?l提供物理数据到企业模型的映射关系，
35、如：提供物理数据到企业模型的映射关系，如：l“customer number” 的正确格式是什么的正确格式是什么l“product status”有哪些取值有哪些取值?l不同系统中相似数据的合并使用规则是什么？不同系统中相似数据的合并使用规则是什么？l提供数据源和抽取信息提供数据源和抽取信息l提供数据项的定义和相关描述提供数据项的定义和相关描述l数据的使用规则数据的使用规则Logical Design Tools Logical Design Tools CorporateCorporateData WarehouseData WarehouseOracle, SybaseOracle, Sy
36、baseSQL/Server, DB2/MVSSQL/Server, DB2/MVS Meta DataMeta DataDataDataData MartsData MartsOracle, SybaseOracle, SybaseSQL/Server, SQL/Server, DB2/MVSDB2/MVSOperational/ Legacy DataPhysical Schema ImportTransformation ImportLogical Tool ImportWCCWCCProductionProductionDirectoryDirectoryOracle, SybaseO
37、racle, SybaseSQL/ServerSQL/ServerWCC ModuleWCC ModuleMeta Data Manager ModuleMeta Data Manager ModuleWCCWCCWorkingWorkingDirectoryDirectoryOracle, SybaseOracle, SybaseSQL/ServerSQL/ServerLegendLegendMeta Data Validation, Synchronization, & Promotion元数据管理：元数据管理：元数据管理：元数据管理：Control CenterControl Cente
38、rSybaseSybase数据仓库相关产品的技术构成数据仓库相关产品的技术构成数据仓库相关产品的技术构成数据仓库相关产品的技术构成RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMS, Star SchemaArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal MetadataPowerMartSybase IQSybase IQCognosPowerMartWarehouseArchitectWCCBrio/BOSybase ASE
