《《hbase基础知识》ppt课件》由会员分享，可在线阅读，更多相关《《hbase基础知识》ppt课件（35页珍藏版）》请在金锄头文库上搜索。
1、课程安排,HBASE基础知识* HBASE的全分布的搭建* HBASE Shell* HBASE的批量导入* HBASE的Java客户端* -加深拓展- HBASE的集群的搭建* HBASE的表设计* HBASE的底层存储模型*,HBASE基础知识,HBase简介 HBase Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。,
2、HBASE Cluster member,HBASE基础知识,HBASE中的每一张表，就是所谓的BigTable。稀疏表。 RowKey 和 ColumnKey 是二进制值byte，按字典顺序排序； Timestamp 是一个 64 位整数； value 是一个未解释的字节数组byte。 表中的不同行可以拥有不同数量的成员。即支持“动态模式“模型,逻辑数据模型,物理数据模型,将逻辑模型中的一个Row分割为根据Column family存储的物理模型,数据模型行,行键,列,列,字符串、整数、二进制串甚至串行化的结构都可以作为行键 表按照行键的“逐字节排序”顺序对行进行有序化处理 表内数据非常稀疏
3、，不同的行的列的数完全目可以大不相同 可以只对一行上“锁” 对行的写操作是始终是“原子”的,数据模型列,列必须用族(family)来定义 任意一列有如下形式 “族：标签” 其中，族和标签都可为任意形式的串 物理上将同“族”数据存储在一起 数据可通过时间戳区分版本,族,标签,HBASE基础知识,表是存放数据的。表由行和列组成 数据模型 Row Key: 行键，Table的主键，Table中的记录按照Row Key排序 Timestamp: 时间戳，每次数据操作对应的时间戳，可以看作是数据的version number Column Family：列簇，Table在水平方向有一个或者多个Colum
4、n Family组成，一个Column Family中可以有任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。,HBASE基础知识,物理存储 Table 在行的方向上分割为多个HRegion，一个region由startkey,endkey)表示，每个HRegion分散在不同的RegionServer中,参数hbase.hregion.max.filesize,HBASE基础知识,架构体系 Client 包含访问hbase 的接口，client 维护着一些cache 来加快对
5、hbase 的访问，比如regione 的位置信息 Zookeeper 保证任何时候，集群中只有一个running master 存贮所有Region 的寻址入口 实时监控Region Server 的状态，将Region server 的上线和下线信息，实时通知给Master 存储Hbase 的schema,包括有哪些table，每个table 有哪些column family Master 可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行 为Region server 分配region 负责region server 的负载
6、均衡，调整Region分布 管理用户对table的CRUD操作 在regionserver停机后负责失效的regionserver上的region迁移,HBASE基础知识,HBASE基础知识,架构体系 Region Server 维护Master 分配给它的region，处理对这些region 的IO 请求 负责切分在运行过程中变得过大的region 可以看出，client 访问hbase 上数据的过程并不需要master 参与，寻址访问zookeeper 和region server，数据读写访问regioneserver。HRegionServer主要负责响应用户I/O请求，向HDFS文件
7、系统中读写数据，是HBase中最核心的模块。,HBASE基础知识,HBase中有两张特殊的Table，-ROOT-和.META. .META.：记录了用户表的Region信息，.META.可以有多个regoin -ROOT-：记录了.META.表的Region信息，-ROOT-只有一个region Zookeeper中记录了-ROOT-表的location Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问,系统架构,HBASE与相关软件,hadoop.2.2 hbase-0.98-hadoop2.tar
8、.gz JDK7,前提条件：本机或集群环境下hadoop.2.2已经安装成功,HBASE Shell,hbase提供了一个shell的终端给用户交互,#$HBASE_HOME/bin/hbase shell,HBASE Shell的DDL操作,创建表 create users,user_id,address,info 表users,有三个列族user_id,address,info 列出全部表 list 得到表的描述 describe users 创建表 create users_tmp,user_id,address,info 删除表 disable users_tmp drop users
9、_tmp,#$HBASE_HOME/bin/hbase shell quit,exists users is_enabled users is_disabled users,HBASE Shell的DML操作,添加记录 获取一条记录 1.取得一个id的所有数据 get users,xiaoming 2.获取一个id，一个列族的所有数据 get users,xiaoming,info 3.获取一个id，一个列族中一个列的 所有数据 get users,xiaoming,info:age,put users,xiaoming,info:age,24; put users,xiaoming,info
10、:birthday,1987-06-17; put users,xiaoming,info:company,alibaba; put users,xiaoming,address:contry,china; put users,xiaoming,address:province,zhejiang; put users,xiaoming,address:city,hangzhou; put users,zhangyifei,info:birthday,1987-4-17; put users,zhangyifei,info:favorite,movie; put users,zhangyifei
11、,info:company,alibaba; put users,zhangyifei,address:contry,china; put users,zhangyifei,address:province,guangdong; put users,zhangyifei,address:city,jieyang; put users,zhangyifei,address:town,xianqiao;,HBASE Shell的DML操作,更新记录 put users,xiaoming,info:age ,29 get users,xiaoming,info:age put users,xiaom
12、ing,info:age ,30 get users,xiaoming,info:age 获取单元格数据的版本数据 get users,xiaoming,COLUMN=info:age,VERSIONS=1 get users,xiaoming,COLUMN=info:age,VERSIONS=2 get users,xiaoming,COLUMN=info:age,VERSIONS=3 获取单元格数据的某个版本数据 get users,xiaoming,COLUMN=info:age,TIMESTAMP=1364874937056 全表扫描 scan users,HBASE Shell的DM
13、L操作,删除xiaoming值的info:age字段 delete users,xiaoming,info:age get users,xiaoming 删除整行 deleteall users,xiaoming 统计表的行数 count users 清空表 truncate users,HBASE的Java_API（一）,/hbase操作必备 private static Configuration getConfiguration() Configuration conf = HBaseConfiguration.create(); conf.set(“hbase.rootdir“, “h
14、dfs:/hadoop0:9000/hbase“); /使用eclipse时必须添加这个，否则无法定位 conf.set(“hbase.zookeeper.quorum“, “hadoop0“); return conf; ,HBASE的Java_API（二）,/创建一张表 public static void create(String tableName, String columnFamily) throws IOException HBaseAdmin admin = new HBaseAdmin(getConfiguration(); if (admin.tableExists(ta
15、bleName) System.out.println(“table exists!“); else HTableDescriptor tableDesc = new HTableDescriptor(tableName); tableDesc.addFamily(new HColumnDescriptor(columnFamily); admin.createTable(tableDesc); System.out.println(“create table success!“); ,HBASE的Java_API（三）,/添加一条记录 public static void put(String tableName, String row, String columnFamily, String column, String data) throws IOException HTable table = new HTable(getConfiguration(), tableName); Put p1 = new Put(Bytes.toByte
