《vertica 4.1架构概述》由会员分享，可在线阅读，更多相关《vertica 4.1架构概述（35页珍藏版）》请在金锄头文库上搜索。
1、Vertica 4.1架构概述 Vertica 培训 2011年8月17日,Vertica是什么?,标准分布式关系数据库 MPP 标准界面 （SQL - 结构化查询语言、 JDBC - Java数据库连接、ODBC - 开放式数据库连接、 ADO.NET） 完全事务型（ACID： 原子性 - Atomicity、一致性 -Consistency、隔离性 - Isolation、持久性 - Durability） 多用户、多链接,MPP具有独特创新设计的纵列式数据库管理系统,提高BI、ETL、Hadoop/MapReduce和OLTP的投资效益,自动设置、优化、数据库管理,内置式冗余可提高查询速
2、度,基于低成本X86 Linux节点的本地数据库感知集群,通过12+算法获得高达90%的空间节余,无磁盘输入输出瓶颈，可同时进行加载和查询,性能优于传统RDBMS的10-100倍 从TBs至PBs的高扩展性 与现有ETL和BI解决方案可轻松整合 在现有硬件平台上具有超高性能 极高的配置灵活性,纵列导向,Vertica可在各纵列的磁盘上对数据进行智能化组织 从磁盘上仅仅读取查询涉及到的纵列，而不是在传统数据库管理系统中读取所有的行与列 以大号黑体字进行读和写 在引擎中纵列层面上迭代操作员 适用于高强度的加载与读取工作，可大幅减少内存与磁盘输入输出,AAPL NYASE NYAASE NYSE N
3、YASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09,5/05/09 5/06/09 5/05/09 5/06/09,143.74 143.75 37.03 37.13,AAPL NYASE NYAASE NYSE NYASE NGG YSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09,BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09,
4、BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09,选择 均价 自 划勾存储 位置 符号 = AAPL” 日期 = 5/06/09,纵列存储 - 读取3列,原始存储 - 读取全部纵列,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQ
5、DS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQ
6、DS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS,NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NY
7、SE NYSE NYSE NQDS,AAPL AAPL BBY BBY,标准SQL界面,与现有BI（商务智能）以及ETL（数据抽取转换及加载）工具轻松无缝地整合并提升配置速度 Vertica 数据库支持SQL（结构化查询语言）、ODBC（开放数据库连接）、JDBC（JAVA数据库连接）和多数ETL（数据抽取转换及加载）以及BI（商务智能）报告等产品 提升现有投资价值同时降低TCO（总体拥有成本）,SQL, ODBC, JDBC, ADO.net,海量与微量加载,ETL、复制与数据质量,分析、报告,本地高可用性,数据库内类似独立磁盘冗余阵列（RAID）的功能 对推算进行组织，当一个节点发生错误时
8、，则立即在存活节点上生成一个副本 在不同种类查询命令中自动存储冗余数据，同时提高性能 无需手动进行基于日志的恢复,无间断查询与加载 当节点发生故障时系统持续进行加载与查询 通过询问其它节点对缺失数据进行恢复,A2,B2,C2,B2,A2,C2,B1,A1,C1,A3,B3,C3,Vertica 数据库设计者推荐使用一种物理数据库设计，为用户的查询需求提供最佳性能 最大限度减少数据库管理员花费在物理数据库调试上的时间 具有重新设计增值型数据库的功能，根据因时间而改变的工作量进行优化 在Vertica数据库配置之前或之后运行 对于工作量变化反应快速 后台程序任何时候均可即时运行,自动数据设计,高级
9、压缩,Vertica通过积极压缩用高速CPU周期代替慢速的磁盘输入输出 利用数据诸如排序与基数之类的属性 无需提前解码即可进行操作 可大范围跨排运行 实施后期实体化 最迟原则下的智能解码,5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009 5/05/2009,0000001 0000001 0000003 0000003 0000005 0000011 0000011 0000020 0000026 0000050 0000051 0000052,
10、Few values sorted,Many values integer,磁盘：编码+压缩,Many Others,100.25 302.43 991.23 73.45 134.09 843.11 208.13 114.29 83.07 43.98 229.76,Many distinct values,并行设计促进了数据推算，实现了分布式存储和工作量 “主动”冗余 自动复制、故障切换与恢复 无共享、基于网格的数据库结构提供商品硬件集群上的高可扩展性 增加节点可获得最高的容量及性能 数据中心成本越低，密度和扩展性越高,海量并行处理（MPP）,客户网络,私人数据网络,1+ TB,1+ TB,1
11、+ TB,Node 2,2 Quad Core 16+GB RAM,节点均对等,无专用节点 所有节点都是对等的 可向任意节点查询/加载 持续的、实时的加载与查询,Vertica 构架的优势,基于纵列的存储 海量并行处理 (MPP) 高级压缩功能 具有自动恢复功能的内置式容错 实时分析同时进行高速加载与查询,Vertica内部组织 推算,推算,表格具有逻辑性 推算具有物理性 数据需要存储、排列和压缩 冗余副本可优化为不同的查询组,Table “foo”:,逻辑性,物理性,(A B C | A),A,B,C,Projections “foo_p1”, “foo_p2”, “foo_p3”:,推算的
12、基础,经过优化的物理存储 基础表格未被存储 物理设计对终端用户是透明的 数据以排序整理和压缩后的模式进行存储 无需索引（纵列可自行索引） 不存在“表格扫描”之类功能，只有“纵列扫描” 优化为通用查询格式 对于查询的最佳推算由优化器在查询执行时段进行选择,推算的基础：维护,无争议维护 数据直接载入推算中 无需重建/刷新 动态增加新的推算 数据库设计者建议在模型、数据和查询工作量基础上进行优化推算,推算与高可用性,从一项超级推算开始 一份完整的数据副本 复制数据至分支推算 分支推算可通过不同方式进行优化 将每项推算分割为不同行组 将分割部分分配至数据库节点,推算,分支推算,Buddy Projec
13、tion,Projection,create projection snmp_p1 ( host encoding rle, if encoding rle, time encoding commondelta_comp, metric encoding rle, value encoding multialgorithm_comp ) as select host, if, time, metric, value from snmp order by host, if, metric, time segmented by hash ( host, if, time, metric ) all
14、 nodes;,创建推算DDL（数据定义语言）,基础查询（可增加）,排序次序,分割,纵列表格与编码,Vertica数据库设计者建议使用一种物理式数据库设计，可为终端客户的查询需求提供最佳的性能 最大限度减少数据库管理员花费在物理数据库调试上的时间 具有重新设计增值型数据库的能力，根据因时间而变化的工作量进行优化 在Vertica数据库配置之前或之后运行 对于工作量变化反应快速 后台程序任何时候均可即时运行,自动设计与管理,推算总结,推算 是经过编码和压缩并按照某种次序进行排序和分割的纵列集合 在数据加载过程中自动进行维护 可存储多种推算，针对不同查询进行调整 多种推算的高可用性（k级安全性）
15、当节点缺失，优化器可动态进行查询规划 通过查询其它节点进行自动节点恢复 自动数据库设计 数据库被存储于经过排序、编码和压缩的推算中 无需繁复的表格空间调试、分隔、索引、设计和更新、MVs 就在基础表格的顶端,Vertica内部组织 分布式查询执行,Vertica查询执行的基础,SQL 查询的写入是针对表格的 从fact中选择count(*) Vertica将查询转化为针对推算的执行 从 fact_p1中选择count(*); 查询优化器选择最优的查询规划 为查询选择最佳推算 选择一项可执行“加入”、“查询推算”等任务的命令 成本最低的查询规划将被选定进行查询,查询规划样本,查询规划： 访问路径： +-GROUPBY HASH Cost: 34, Rows: 2 | Aggregates: sum_float(customer.age), count(custom
