《DB2-数据仓库集群设计》由会员分享，可在线阅读，更多相关《DB2-数据仓库集群设计（40页珍藏版）》请在金锄头文库上搜索。
1、Presentation Title Presentation Subtitle Subtitle Second Line 1 2009 IBM Corporation DB2数据仓库集群设计 2009 IBM Corporation 2 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 日程 不同的并行类型 硬件 软件 DB2 DPF 并行架构 数据库分区Database partitioning 服务器分区Server partitioning
2、IO 并行 物理数据库设计 分区键Partitioning keys 对性能和扩展性的影响 应用并行 何时分区？ 2009 IBM Corporation 3 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 目标 通过本文介绍，您将能够: 理解不同种类的并行架构 理解DB2 MPP并行架构的原理 理解DB2是如何处理并行SQL的 理解并行机制是怎样影响BI架构设计的 知道何时需要进行数据库分区 了解IBM BCU 2009 IBM Corporat
3、ion 4 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 从单处理器到大规模并行处理 支持海量数据库 扩展性 所有都并行 (MPP支持) 集成的数据仓库/商业只能函数 开放的企业级解决方案 64位全面支持 单处理器 SMP 群集 MPP 相同功能 所有架构 所有平台 平台 : AIX HP/UX Solaris Linux Windows CPUSQL CPUSQL CPUSQL CPUSQL 并行交易 CPU CPU CPU CPU SQL 并
4、行SQL 2009 IBM Corporation 5 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 概念和术语 非共享体系架构Shared-nothing 软件概念：应用（数据库/ETL等）并行处理单一任务的能力，每个子 任务处理一部分数据 大规模并行处理 (MPP) 硬件概念： 一组服务器/节点，通过高速网络通讯，运行非共享应用（ 数据库、ETL等） 群集 大规模并行计算、各节点共享磁盘子系统；当一个节点宕掉，另一个 能访问相同物理磁盘的节点
5、将会接管失效节点的工作负荷。 扩展性 架构扩展能力： 垂直扩展 通过增加单节点组件（CPU内存等）来扩展 水平扩展 通过增加更多的节点来扩展 线性 线性扩展 效率指标，增加资源将线性提升性能 2009 IBM Corporation 6 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 分区数据库模型 数据库被分为多个分区 数据库分区可运行在不同的节点上 每个数据库分区有独立的资源（引擎、日志管理、锁管理、缓存管理等） 所有分区并行处理，由数据库系统
6、进行统一协调和管理 对用户和应用来讲是单一系统映象 高速通讯管理（FCM） 数据日志 数据库分 区 DB2 非共享体系架构 data log data log data log data log 2009 IBM Corporation 7 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 DB2 数据库拓朴 高速网络 table CPU MEM CPU MEM CPU MEM CPU MEM MPP 小服务器 Linux Windows RS/SP
7、 SMP 大服务器 Regatta Sun StarFire HP CPU MEM CPUCPUCPU table CPU MEM CPUCPUCPU table CPU MEM CPUCPUCPU 高速网络 群集SMP群集 2009 IBM Corporation 8 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 数据库分区与节点关系 Node 1 part0part1 Node 2 part2part3 # # sqllib/db2nodes
8、.cfg # 0 node1 0 1 node1 1 2 node2 0 3 node2 1 FCMFCMFCMFCM 节点1分区 0 在0号逻辑端口上监听 节点2分区 3 在1号逻辑端口上监听 节点2分区 2 在0号逻辑端口上监听 节点1分区 1 在1号逻辑端口上监听 db2nodes.cfg DB2 实例配置文件 所有数据库共享该配置 位于DB2实例目录 Sqllib 在其中一个节点上 NFS共享给其他节点 2009 IBM Corporation 9 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那
9、个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 DPF 处理模型 part0part1part2part3 TXNTXNTXNTXN TXNTXNTXNTXN TXNTXNTXNTXN part0part1part2part3 TXN TXN TXN part0part1part2part3 TXN TXN TXN TXN TXN part0part1part2part3part4part5 TXN TXN TXN 每个数据分区有更多的资源 相同的响应时间处理更多的查询 更多的资源更多的数据分区 相同数据量：更快的查询响应时间 更多的数据量：相同响应时间 OLTPDSS 垂直扩展水平
10、扩展 扩展 扩展 2009 IBM Corporation 10 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 I/O 层次 页面Page 读写的基本单位 扩展块Extent 分配的基本单位 页面数可定制 能且只能用于存放数据库的一个对象（表 、索引） 通常为大的块I/O大小 容器Container DB2从中分配扩展块 DMS文件 (/hello.dat) DMS 裸设备 (/dev/rhello) SMS：目录 (/hello) 表空间Tab
11、lespace 一组容器 Page 0Page 1 Page 2Page 3 Page 4Page 5 Page 6Page 7 Extent: 一组页面 row 1 row 2 row 3 Page: 4k, 8k, 16k or 32k Extent 0Extent 3 Extent 1Extent 4 Extent 2Extent 5 Container: 包含扩展块的文件 container container container tablespace Tablespace: 表和索引的存放空间 Cont 1 Cont 2 Cont 3 2009 IBM Corporation 11
12、一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 总结: 并行 I/O buffer Partition 0 buffer Partition 2 buffer IOIOIOIOIOIOIOIOIO agentagentagent Partition 1 coord extents i/o servers Containers Containers Containers db agents 并行预取 agentagentagent 2009 IBM
13、Corporation 12 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 创建单节点Partition Group create database partition group sdpg on dbpartitionnums(0); create database partition group pdpg on dbpartitionnums(1 TO 8); 创建多节点Partition Group 2009 IBM Corporation
14、 13 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 创建跨节点表空间 create tablespace ts_demo in database partition group pdpg pagesize 4k managed by database using ( file /database/zhouxzh/tbs_demo $N 20M) extentsize 16 prefetchsize automatic bufferpool bp
15、4k autoresize yes no file system caching; 2009 IBM Corporation 14 一个人拥有健康，美貌，诚信，机敏，才学，金钱，荣誉，7个背囊，渡船开始时风 平浪静，可是不久就刮起了大风，船夫说要扔掉一个背囊，你会扔掉那个背囊呢？最后你要扔掉哪一个？为什么呢?说说 你的理由。 DB2 表定义 从逻辑到物理 Physical Data Model CREATE TABLE customer ( cust_id INTEGER NOT NULL, tel CHAR(20), zip CHAR(5) NOT NULL, birth_date DATE NOT NULL, PRIMARY KEY(cust_id) DISTRIBUTE BY HASH(cust_id) COMPRESS YES IN data_tbs; CREATE TABLE sales ( cust_id INTEGER NOT NULL REFERENCES customer(cust_id), Foreign key (确保存在) sales_date DATE NOT NULL, region CHAR(5) NOT NULL,
