《oracle 12c中海量数据优化思路》由会员分享，可在线阅读，更多相关《oracle 12c中海量数据优化思路（33页珍藏版）》请在金锄头文库上搜索。
1、讲师讲师：戴明明：戴明明(Dave)(Dave) 主题主题：Oracle 12cOracle 12c中海量数据的优化思中海量数据的优化思 路路 Oracle ACE Associate 中国 ORACLE 用户组（ACOUG）核心成员 中国浙江应用中间件与数据库用户组成员 技术blog： 从2014年开始一直在研究基于PCIe 闪存卡的数据库解决方案 2014年在技术嘉年华分享主题：基于PCIe闪存卡的Oracle 高可用 与高性能的解决方案 About Me Oracle 12c 的一组新特性 Oracle 生命周期生命周期 运维DBA最不喜欢干的一件事(之一): 移动数据文件 数据文件 o
2、ffline 在OS层面 移动数据文 件 DB中 Raname 数 据文件 Recover Datafile Online 数 据文件 Oracle 12c 之前移之前移动数据文件步骤动数据文件步骤 在Oracle 12c中直接Move 即可： SQLalter database move datafile /u01/app/oracle/oradata/dave/huaining.dbf to /u01/app/oracle/oradata/dave/anqing.dbf; Database altered. 这种移动不仅会修改控制文件中的信息，也会在OS级别物理的移动。 利用这个特性可以做
3、如下事情： 在线移动数据文件位置 在线重命名数据文件 在线移动数据文件从ASM到文件系统 Oracle 12c Online Datafile Move Oracle 12c ILM 数据量爆发 式增长 系统性能的 不断下降 Heat Map Automatic Data Optimization (ADO) IT硬件成本 不断抄预算 Information Lifecycle Management (ILM) Heat Map 是Oracle 12c引入的新特性，用来存储系统在row 和segment 级生成的数据使用情况统计信息。 段级热图跟踪表和分区上次修改和访问的时间。行级热图显示行级
4、的修 改时间。 ADO可以利用Heat Map的信息自动执行数据压缩和移动的存储策略，以 便降低存储成本、提高性能。 热图一经启用，即可自动收集段级和行级统计信息，在收集这些信息时 会跳过针对系统任务执行的内部访问（自动排除统计信息收集、DDL 或 表重定义）。 Oracle 12c - 热图（HEAT MAP） 默认情况下，数据库是禁用Heat Map的，启动Heat Map需要修改如下参数： SQL show parameter heat_map NAMETYPEVALUE - - - heat_mapstringOFF SQL ALTER SYSTEM SET HEAT_MAP = ON
5、; System altered. SQL show parameter heat_map NAMETYPEVALUE - - - heat_mapstringON SQL Oracle 12c - 热图（HEAT MAP） Heat Map 收集的信息可以通过如下视图查询： V$HEAT_MAP_SEGMENT：显示实时访问信息，包括对象名，对象 数量以及容器ID DBA_HEAT_MAP_SEGMENT：显示所有对特定用户开放可视化的 segment中最新的segment(支持ALL或USER) DBA_HEAT_MAP_SEG_HISTOGRAM：显示所有对特定用户开放可 视化的segm
6、ent中的访问信息(支持ALL或USER) DBA_HEATMAP_TOP_OBJECTS：显示top 1000对象中的访问信息 DBA_HEATMAP_TOP_TABLESPACES：显示top 1000表空间的访问 信息 Oracle 12c - 热图（HEAT MAP） ADO 可以对表或者表分区在segment 或者row 级别创建压缩策略和 移动策略，从而实现存储和压缩的分层。数据压缩的判断依据就是 来自Heat Map收集的信息。 策略条件可以指定如下值：如no data access，no data modification， 或者n days，months，years 没有修改
7、。 压缩类型包括： ROW STORE COMPRESS （Basic 压缩） ROW STORE COMPRESS ADVANCED (Advanced Row 压缩） COLUMN STORE COMPRESS FOR QUERY LOW/HIGH (HCC Query ) COLUMN STORE COMPRESS FOR ARCHIVE LOW/HIGH (HCC Archive ) Automatic Data Optimization (ADO)Automatic Data Optimization (ADO) Automatic Data Optimization (ADO)Au
8、tomatic Data Optimization (ADO) Automatic Data Optimization (ADO)Automatic Data Optimization (ADO) 可以在创建表的时候指定ILM ADO策略，也可以在创建之后使用alter 语法来修改。 CREATE TABLE sales_ado (PROD_ID NUMBER NOT NULL, CUST_ID NUMBER NOT NULL, TIME_ID DATE NOT NULL, QUANTITY_SOLD NUMBER(10,2) NOT NULL, AMOUNT_SOLD NUMBER(10,2
9、) NOT NULL ) PARTITION BY RANGE (time_id) ( PARTITION sales_q3_2012 VALUES LESS THAN (TO_DATE(01-OCT-2012,dd-MON- yyyy), PARTITION sales_q4_2012 VALUES LESS THAN (TO_DATE(01-JAN-2013,dd-MON- yyyy) ) ILM ADD POLICY COMPRESS FOR ARCHIVE HIGH SEGMENT AFTER 12 MONTHS OF NO ACCESS; ALTER TABLE sales MODI
10、FY PARTITION sales_q1_2002 ILM ADD POLICY ROW STORE COMPRESS ADVANCED ROW AFTER 30 DAYS OF NO MODIFICATION; ALTER TABLE sales MODIFY PARTITION sales_q1_2001 ILM ADD POLICY COMPRESS FOR ARCHIVE HIGH SEGMENT AFTER 6 MONTHS OF NO MODIFICATION; ALTER TABLE sales MODIFY PARTITION sales_q1_2000 ILM ADD PO
11、LICY COMPRESS FOR ARCHIVE HIGH SEGMENT AFTER 12 MONTHS OF NO ACCESS; SELECT SUBSTR(policy_name,1,24) POLICY_NAME, policy_type, enabled FROM USER_ILMPOLICIES; POLICY_NAME POLICY_TYPE ENABLE - - - P1 DATA MOVEMENT YES P2 DATA MOVEMENT YES P3 DATA MOVEMENT YES P4 DATA MOVEMENT YES P5 DATA MOVEMENT YES
12、Automatic Data Optimization (ADO)Automatic Data Optimization (ADO) ADO 的TIER 分层语法： ALTER TABLE sales_ado ILM ADD POLICY TIER TO my_low_cost_tablespace; 这个策略的作用是把数据自动转移低性能的表空间，通俗一点，就是放在便宜一点的存储设备上，降低硬件成本。 触发由ILM的参数决定： SQL select * from dba_ilmparameters; NAMEVALUE - - ENABLED 1 RETENTION TIME30 JOB LI
13、MIT2 EXECUTION MODE2 EXECUTION INTERVAL15 TBS PERCENT USED85 TBS PERCENT FREE25 POLICY TIME0 8 rows selected. Automatic Data Optimization (ADO)Automatic Data Optimization (ADO) 数据库优化？ 尽可能 的减少 IO 优化操 作系统 参数 优化数 据库参 数 收集统 计信息 优化 SQL 语 句 执行计 划 AWR STA ADDM 优化之后继续慢？ 容量容量800GB1.2TB1.6TB3.2TB6.4TB 闪存类型闪存类
14、型MLCMLCMLCMLCMLC 读带宽读带宽1.4GB/s2.0GB/s2.6GB/s2.6GB/s2.6GB/s 写写带宽带宽1.2GB/s1.8GB/s1.8GB/s1.9GB/s1.9GB/s 随机随机读延迟读延迟(4KB)67us67us67us67us67us 随机写延随机写延迟迟(4KB)9us9us9us9us9us 随机随机读读IOPS(4KB)300,000450,000590,000590,000590,000 随机写随机写IOPS(4KB)310,000460,000480,000480,000480,000 写入寿命写入寿命每天5次全盘写(5DWPD)，持续3年 直接
15、上PCIe闪存卡？ Active Database Standby Database 支持Oracle，Mysql，PostgreSQL Data Guard Primary Data Guard Standby 海量数据怎么办？ PCIe-RAID 2U 服务器, 最多可以部署6张全高的PCI-E 闪存卡, 如 HP DL380 Gen9，50TB 裸容量, 最高40TB的可用容量 3U 服务器, 最多可以部署11张全高的PCI-E 闪存卡, 如 Supermicro Gen X9DRX+-F，90TB 裸容量, 最高80TB的可用容量 - 4U 服务器，最多可以部署9张全高的PCI-E 闪存卡，如HP DL580 Gen8，75TB 裸容量，最高50TB可用容量。 PCIe-RAID 预算有限怎么办？ PCI-E 闪存卡 传统存 储或者 SAS盘 大容量 混合存 储 Stier 新特性与闪存卡的结合 关注微信公众号 获取文档和更新 云和恩墨 恩墨学院Oracle新闻 z3 SQL审核zData 分布式存储BayMax自动化巡检 特别感谢合作伙伴
