HBase

基础概念

表 table
行 row
列族 column family
列 column
单元格 cell
分区 region

HBase中扩展和负载均衡的基本单元，是以row key排序的连续的存储区间。
若region超过配置的最大值（hbase.hregion.max.filesize），系统会从row key的中间位置将改region拆分为大致相等两个子分区。
没个region只能由一个region server加载，没个region server可以加载多个region。
当某个region server挂掉时，系统会将该server加载的分区转移到其他server。

环境搭建

以下安装了一个伪分布式的HBase环境

安装Java

安装Hadoop

下载

下载hadoop 版本2.7.3

配置hdfs

编辑etc/hadoop/core-site.xml

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
  </configuration>

编辑etc/hadoop/hdfs-site.xml

  <configuration>
      <property>
              <name>dfs.replication</name>
              <value>1</value>
      </property>
      <property>
              <name>dfs.name.dir</name>
              <value>file://${user.home}/hadoopinfra/hdfs/namenode</value>
      </property>
      <property>
              <name>dfs.data.dir</name>
              <value>file://${user.home}/hadoopinfra/hdfs/datanode</value>
      </property>
  </configuration>

准备文件系统
```
  bin/hdfs namenode -format
```
启动/停止hdfs
```
  sbin/start-dfs.sh
  sbin/stop-dfs.sh
```
访问web ui
```
  http://localhost:50070/
```

配置yarn

编辑etc/hadoop/mapred-site.xml

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>

编辑etc/hadoop/yarn-site.xml

  <configuration>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  </configuration>

启动/停止yarn

  sbin/start-yarn.sh
  sbin/stop-yarn.sh

访问web
```
  http://localhost:8088/
```

安装HBase

下载

HBase 版本1.2.6，匹配的Hadoop版本为2.7.3

配置

编辑conf/hbase-site.xml

  <configuration>
      <property>
              <name>hbase.zookeeper.property.dataDir</name>
              <value>${user.home}/zookeeper</value>
      </property>
      <property>
              <name>hbase.rootdir</name>
              <value>hdfs://localhost:9000/hbase</value>
      </property>
      <property>
              <name>hbase.cluster.distributed</name>
              <value>true</value>
      </property>
  </configuration>

启动/停止HBase

  bin/start-hbase.sh
  bin/stop-hbase.sh

HBase shell
```
  bin/hbase shell
```
访问web
```
  http://localhost:16010
```

客户端API

org.apache.hadoop.hbase.client.ConnectionFactory

负责Connection的创建，调用者负责管理Connection的生命周期（调用它的close()方法）。
org.apache.hadoop.hbase.client.Connection
- 封装到服务器的低层链接和到zookeeper的链接
- 共享的、线程安全的
  
  到服务器的链接、元数据缓存、zookeeper链接等，被通过Connection得到的Table、Admin实例共享
- 重量级的
  
  一个应用只创建一个该实例即可。
org.apache.hadoop.hbase.HBaseConfiguration

用于加载HBase的配置文件（hbase-site.xml和hbase-default.xml）
org.apache.hadoop.hbase.client.Table
- 轻量级的
- 非线程安全的
org.apache.hadoop.hbase.CellUtil

用于创建单元格的工具类
org.apache.hadoop.hbase.util.Bytes

HBase中存储的都是byte，该类提供了操作byte的便捷方法
org.apache.hadoop.hbase.client.Get/ org.apache.hadoop.hbase.client.Put/org.apache.hadoop.hbase.client.Delete

配合Table类实现对HBase的增删改查
org.apache.hadoop.hbase.client.ResultScanner/org.apache.hadoop.hbase.client.Scan

liuyazong / hbase-demo

HBase

基础概念

环境搭建

安装Java

安装Hadoop

安装HBase

客户端API

About

Languages