《DB2数据仓库性能经验课件》由会员分享，可在线阅读，更多相关《DB2数据仓库性能经验课件（20页珍藏版）》请在金锄头文库上搜索。
1、DB2数据仓库性能经验数据仓库性能经验 2007年年08月月电信行业数据仓库应用电信行业数据仓库应用 0DB2数据仓库性能经验课件内容提要内容提要 系统系统概况概况 1 DB2DB2数据库数据仓库性能经验谈数据库数据仓库性能经验谈 2 DB2的应用的应用3p数据仓库的性能要素数据仓库的性能要素p数据库架构设计数据库架构设计 p分区的使用及优化分区的使用及优化p数据仓库的空间管理数据仓库的空间管理p应用设计应用设计 优化优化1DB2数据仓库性能经验课件总体技术架构2DB2数据仓库性能经验课件DB2中数据应用举例3DB2数据仓库性能经验课件数据仓库服务数据仓库服务器器配置配置IBM p5-570(
2、4IBM p5-570(4路路1.5GHz POWER51.5GHz POWER5处理器处理器, 16GB, 16GB内存内存) )主机名：主机名：p570_dwep570_dwe；运行软件：运行软件：DB2(node1DB2(node1、2 2、3 3、4) 4) 、HyperionHyperion服务器服务器A A配置配置IBM p5-550(2IBM p5-550(2路路1.5GHz POWER51.5GHz POWER5处理器处理器, 4GB, 4GB内存内存) )主机名：主机名：p550p550： 运行软件：运行软件：OLAPOLAP、DB2 node0DB2 node0、Datas
3、tageDatastage磁盘阵列磁盘阵列配置配置IBM IBM DS4800 (56x73GBDS4800 (56x73GB磁盘磁盘, 4GB Cache), 4GB Cache)划分为划分为9 9组组RAID5RAID5，共，共9090个个LUNLUN，每个，每个LUN 34GLUN 34G软件软件软件及版本软件及版本数据仓库数据仓库IBM DB2 8.2 IBM DB2 8.2 webweb服务器服务器IBM WebSphere Application 6.0IBM WebSphere Application 6.0ETLETL工具工具IBM Datastage 7.0IBM Datas
4、tage 7.0软硬件配置4DB2数据仓库性能经验课件内容提要内容提要 系统系统概况概况 1 DB2DB2数据库数据仓库性能经验谈数据库数据仓库性能经验谈 2 DB2的应用的应用3p数据仓库的性能要素数据仓库的性能要素p数据库架构设计数据库架构设计 p分区的使用及优化分区的使用及优化p数据仓库的空间管理数据仓库的空间管理p应用设计优化应用设计优化5DB2数据仓库性能经验课件项目中数据仓库的主要性能要素架构与分区n n单事例单事例n n模式模式n n数据分层数据分层n n多节点分区多节点分区存储结构n n数据空间数据空间n n索引空间索引空间n n日志空间日志空间n n应用数据空间应用数据空间n
5、 n合理的分区合理的分区应用设计应用设计n n表的分区键表的分区键n n表的索引表的索引n nSQLSQL优化优化n n数据类型的优化数据类型的优化n n物理分表物理分表6DB2数据仓库性能经验课件数据库架构设计数据库架构设计-初版初版使用别名跨使用别名跨库访问速度库访问速度慢慢( Db2 7.2 )并并行行load 导致导致锁表空间锁表空间大数据量时大数据量时日志空间报日志空间报错错资源分散利资源分散利用率低，用率低，IO差差7DB2数据仓库性能经验课件数据库架构设计数据库架构设计-优化版优化版 DSS数据仓库数据仓库表空间调整表空间调整后并行后并行load，提高，提高IO、CPU等资源等资
6、源利用率利用率模式实现虚模式实现虚拟的数据应拟的数据应用层用层8DB2数据仓库性能经验课件分区的使用及优化系统性能的提系统性能的提高高CPU/ IO优化后优化后帐单表帐单表 29830644条数据条数据 232设备表设备表 10997977条数据条数据 16优化前优化前帐单表帐单表 29830644条数据条数据 102设备表设备表 10997977条数据条数据 431 9DB2数据仓库性能经验课件数据仓库的空间管理1.数据、索引、日志分开减少应用数据、索引、日志分开减少应用IO冲突冲突2.数据库使用的日志表空间数据库使用的日志表空间=ETL最大事务日志空间最大事务日志空间3.采用合理的分区键，
7、使数据分布均匀采用合理的分区键，使数据分布均匀Cust.customer_detail中有中有cust_id和和cert_no最初采用最初采用cert_no做分区键做分区键INSERT遇到的问题？遇到的问题？IO性能性能提高提高合理合理日志日志空间空间考虑到空间利用率，考虑到空间利用率，最后改变分区键，最后改变分区键，旧分区键建立索引旧分区键建立索引 select count(cert_no) ,dbpartitionnum(cert_no) from Cust.customer_detail_200708 group by dbpartitionnum(cert_no)cert_no有部分默
8、认值有部分默认值Cust_id是唯一标识是唯一标识独立的独立的数据空间数据空间10DB2数据仓库性能经验课件建表语句中分区与空间管理CREATE TABLESPACE MID_DATACREATE TABLESPACE MID_DATA IN DATABASE PARTITION GROUP NODEGROUP11 IN DATABASE PARTITION GROUP NODEGROUP11 PAGESIZE 32K PAGESIZE 32K MANAGED BY DATABASE MANAGED BY DATABASE USING USING (Device /dev/rmid1_data
9、_lv1 491520 (Device /dev/rmid1_data_lv1 491520 ) ON DBPARTITIONNUM (1) ) ON DBPARTITIONNUM (1) USING USING (Device /dev/rmid1_data_lv2 491520 (Device /dev/rmid1_data_lv2 491520 ) ON DBPARTITIONNUM (2) ) ON DBPARTITIONNUM (2) USING USING (Device /dev/rmid1_data_lv3 491520 (Device /dev/rmid1_data_lv3
10、491520 ) ON DBPARTITIONNUM (3) ) ON DBPARTITIONNUM (3) USING USING (Device /dev/rmid1_data_lv4 491520 (Device /dev/rmid1_data_lv4 491520 ) ON DBPARTITIONNUM (4) ) ON DBPARTITIONNUM (4) EXTENTSIZE 64 EXTENTSIZE 64 PREFETCHSIZE 256 PREFETCHSIZE 256 BUFFERPOOL IBMDEFAULTBP BUFFERPOOL IBMDEFAULTBP OVERH
11、EAD 12.67 OVERHEAD 12.67 TRANSFERRATE 0.18 TRANSFERRATE 0.18 DROPPED TABLE RECOVERY OFF; DROPPED TABLE RECOVERY OFF;CREATE TABLE MID.TB_CUST_DETAIL_200708CREATE TABLE MID.TB_CUST_DETAIL_200708 (BILL_MONTH INTEGER NOT NULL, (BILL_MONTH INTEGER NOT NULL, CUST_ID DECIMAL(16, 0) NOT NULL, CUST_ID DECIMA
12、L(16, 0) NOT NULL, CUST_SEQ DECIMAL(20, 0), CUST_SEQ DECIMAL(20, 0), CERT_NO INTEGER, CERT_NO INTEGER, BIRTHDAY BIRTHDAY INTEGERINTEGER ) ) DATA CAPTURE NONE DATA CAPTURE NONE IN MID_DATA IN MID_DATA INDEX IN MID_INDEX INDEX IN MID_INDEX PARTITIONING KEY PARTITIONING KEY (CUST_ID (CUST_ID ) USING HA
13、SHING ) USING HASHING NOT LOGGED INITIALLY; NOT LOGGED INITIALLY;比目录方式性能好比目录方式性能好11DB2数据仓库性能经验课件应用的优化-SQL配置配置 MAXLOCKS列表的百分比列表的百分比, LOCKLIST锁资资源大小锁资资源大小 LOCKTIMEOUT,锁等待超时时间锁等待超时时间 锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁SQL0911N 死锁或超时死锁或超时 数据库和应用上如何解决呢？数据库和应用上如何解决呢？行锁行锁表锁表锁优化优化项目强制
14、规定项目强制规定所有事务及时所有事务及时COMMITFORCE APPLICATION ( ID )12DB2数据仓库性能经验课件应用的优化-索引Insert into cust_bill Select a.*,b.*From cust a,bill bWhere a.cust_id=b.cust_id注：注：7百万百万*3亿的接口数据关联亿的接口数据关联如何从建模和应用上实现优化呢？如何从建模和应用上实现优化呢？Cust和和Bill表建模时候是否考虑到主键和外键？表建模时候是否考虑到主键和外键？多表关联时候如何确定多表关联时候如何确定COST最小？最小？存储过程和存储过程和SQL执行比较慢如
15、何定位原因？执行比较慢如何定位原因？应用中复杂应用中复杂的语句是否的语句是否考虑过执考虑过执行计划？行计划？ reorg修改表的很多信息修改表的很多信息runstats 更新统计信息，更新统计信息，一般晚上空闲时候执行一般晚上空闲时候执行REORGCHK 根据统计公式根据统计公式计算表是否需要重整计算表是否需要重整优化器分析优化器分析SQL基于成本的优化器基于成本的优化器 如：关联时如：关联时索引扫描而不索引扫描而不是使用表扫描是使用表扫描优化要点优化要点建立合适的索引建立合适的索引避免表扫描避免表扫描13DB2数据仓库性能经验课件数据类型的优化（OLAP）数据值数据值数据值数据值数据类型数据
16、类型数据类型数据类型1 1 1 1数据类型数据类型数据类型数据类型2 2 2 2备注备注备注备注ABCDE 123 FGHABCDE 123 FGHABCDE 123 FGHABCDE 123 FGHCHARCHARCHARCHAR（50505050）VARCHARVARCHARVARCHARVARCHAR（50505050）可变长可变长可变长可变长2007.08.282007.08.282007.08.282007.08.28timestamptimestamptimestamptimestampintegerintegerintegerinteger年月日年月日年月日年月日 2007082
17、8 20070828DAYOFWEEKDAYOFWEEK、DATE DATE 函数限制函数限制函数限制函数限制1234567890123456789012345678901234567890VARCHARVARCHARVARCHARVARCHAR（18181818）Integer,decimaInteger,decimaInteger,decimaInteger,decimal(18,0)l(18,0)l(18,0)l(18,0)0001234567000123456700012345670001234567+86+86+86+86VARCHARVARCHARVARCHARVARCHAR（20
18、202020）integerintegerintegerinteger失真不影响内容失真不影响内容失真不影响内容失真不影响内容1.1.1.1.提高数据存储空间的利用率，降低系数提高数据存储空间的利用率，降低系数提高数据存储空间的利用率，降低系数提高数据存储空间的利用率，降低系数2.2.2.2.合适数据类型应用时能提高关联速度合适数据类型应用时能提高关联速度合适数据类型应用时能提高关联速度合适数据类型应用时能提高关联速度14DB2数据仓库性能经验课件大数据量的应用优化CDR数据数据按月进行分表按月进行分表5月月6月月7月月8月月n n7 7百万百万/ /月的客户资料，月的客户资料，3 3亿条亿条
19、/ /月详单数据。月详单数据。采用分区技术之外，如何提高应用系统性能呢？应用上如何实现？采用分区技术之外，如何提高应用系统性能呢？应用上如何实现？根据时间或地域根据时间或地域来进行物理分表来进行物理分表如：如：表名表名_200708表名表名_20070828表名表名_010表名表名_地区地区_年月年月使用动态使用动态SQL采用采用4节点，每个节点，每个节点多大数据量？节点多大数据量？175万客户资料关联万客户资料关联7500万的数据万的数据15DB2数据仓库性能经验课件大数据量分表1.单个事务数据量小，提高应用执行速度，系统资源压力小。单个事务数据量小，提高应用执行速度，系统资源压力小。2.如
20、果如果ETCL整个过程整个过程REDO,避免使用避免使用DELETE产生大量日志，影响系统性能。产生大量日志，影响系统性能。IMPORT FROM /dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month |_|v_city_idLOAD FROM /dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month |_|v_city_id | NONRECOVERABLE 16DB2数据仓库性能经验课件内容提要内容提要 系统系统概况概况 1 DB2DB2数据库数据仓库性能经验谈数据库数据仓库性能经验谈 2 DB2的应用的应用3p数据仓库的性能要素数据仓库的性能要素p数据库架构设计数据库架构设计 p分区的使用及优化分区的使用及优化p数据仓库的空间管理数据仓库的空间管理p应用设计应用设计 优化优化17DB2数据仓库性能经验课件基于DB2的数据仓库应用和展现18DB2数据仓库性能经验课件完毕，谢谢！19DB2数据仓库性能经验课件
