《云计算和大数据技术-概念应用与实战PPT第8章课件》由会员分享，可在线阅读，更多相关《云计算和大数据技术-概念应用与实战PPT第8章课件（41页珍藏版）》请在金锄头文库上搜索。
1、第8章数据仓库平台一HiveE21世纪高等院挚云计算和大数据人才基养觅划敏材沥胡朐38.2。任务Hive的搭建与使用E第8章数据色库平台一Hve3Hive是建立在Hadoop上的数据仓库基础构染。它提供了一系列的工具,可s5转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规的机制。Hive定义了简单的类SQL查询语言,称为QL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟惯MapReduce开发者的开发自定义的mapperz和reducer来处理内建的mappernreducer无法完成的复杂的分析工作,Hive基于Hadoop,Hadoop是批处理系统,不能
2、保法低延迟,因此,Hive的查询也不能保证低延迟。_蠹I一取_Hive是一个构建于Hadoop顶层的数据仁库,注意这里不是数据库。Hive可以看作是用户缩程接口,它本身不存储和计算数据,它依赖于HDFS和MapReduce。Hive是Facebook2008年8月刚开源的一个数据仁库框架,其系统目标与Pig有相似之处,但它有一些Pig目前还不支持的机制,比如更丰富的类型系统、更类似SQL的查询语言、Table/Partition元数据的持久化等Hive体系机构Wesaue招PiS第8章数据仓库平台一Hive5Hive的体系结构主要分为以下几个部分。(用户接口:包括命令行CLI,Client,W
3、eb界面WUI,JDBC/ODBC接口等.(中间件:包括Thrift接口和JDBC/ODBC的服务端,用于整合Hive和其他程序。(元数据Metadata存储:通常是存傅在关系数据库如MySQL,Derby中的系统.(4)底层驿动:包括HiveQL解释器、编译器、优化器、扣行躁(引擎)。(5)Hadoop:用HDFS进行存傅,利用MapReduce进行计算.一一_.宣.譬.玟用户接口用户接口主要命令有三个:CLI,Client和WUl。其中最常用的是CLl,CL启动的时候,会同时启动一个Hve副本。Client是Hive的客户端,用户连接至HveServer。在启动Client模式的时候,需要
4、指出HveServer所在节点,并且在该节点肢动HiveServer。WUI是通过浏览器访问Hive。元数据Metadata存倩江驱Hive将元数据存储在数据库中,如招释器、编译躁、优化器完成HQLMySQL、Derby。Hive中的元数据包查询语句从词法分析、语法分析、编括表的名字,表的列和分区及其属性,译、优化以及查询计划的生成。生成表的属性(是否为外部表等),表的的查询计划存储在HDFS中,些在随后数据所在目录等由MapReduce调用执行.的读在HDFS中,大部分的查询由MapReduce完成(包含“的查询,比如selectfromtbl不会生成MapRedcue任务)。Hive与Hadoop之间的关系E理MetaStore类似于Hive的目录。它存放了表、区、列、类型、规则模型的所有信息;并且它可以通过Thrit接口进行修改和查询。它为缩译器提供育效的服务,所以它会存放在一个传统的RDBMS中,利用关系模型进行管理。这个信息非常重要,所以它需要备份,并东支持查询的可扩展性
