简 介：HBase是谷歌BigData论文的一个代码实现，在大数据处理领域应用广泛。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。
关键词：大数据组件、HBase、NoSQL
一、HBase API学习
（一）、DDL操作
1.导入HBase依赖
<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version> </dependency> </dependencies>
2.获取Configuration对象
这是过时的方式，现在使用工厂模式进行创建连接，但是不影响使用。
Configuration conf = HBaseConfiguration.create(); # 配置zookeeper集群，端口可以不用配置，默认就是2181 conf.set("hbase.zookeeper.quorum", "hadoop102,hadoop103,hadoop103");
3.判断表是否存在
首先需要获取一个配置类对象，用于配置HBase集群相关的属性，然后新的方式需要创建一个Connection对象，但是Connection是一个接口，不能够直接创建，需要用工厂类进行创造一个Connection对象，然后利用该对象获取客户端对象Admin。
创建相关配置
Configuration conf = null; Connection connection = null; Admin admin = null; @Before public void init() throws Exception { conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "hadoop102,hadoop103,hadoop104"); connection = ConnectionFactory.createConnection(conf); admin = connection.getAdmin(); }
代码
@Test public void isExistTable() throws IOException { String tableName="stu"; boolean result = admin.tableExists(TableName.valueOf(tableName)); System.out.println(result); }
关闭资源
@After public void close() throws Exception { if (admin != null) { admin.close(); } if (connection != null) { connection.close(); } }
这里注意一下，我们要操纵HBase进行DML操作，那么就需要一个客户端对象，new对象的同时需要传入一个配置对象，配置集群，而且当我们使用完客户端对象的时候记得close一下
进行代码测试一下：
4.创建一张新表
使用JavaAPI创建一张新表的流程为：
- 获取一个表的描述器
- 遍历列族，为每个列族创建一个列的描述器
- 将每个描述器添加到表的描述器中
- 使用客户端对象进行创建表
public static void createTable(String tableName, String... cfs) throws IOException { //判断列族是否为0 if (cfs.length <= 0) { System.out.println("列族为0"); return; } //判断表是否存在 if (isExistTable(tableName)) { System.out.println("当前表已经存在"); return; } //创建一个表的描述器 HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName)); //创建列族 for (String cf : cfs) { HColumnDescriptor columnDescriptor = new HColumnDescriptor(cf); tableDescriptor.addFamily(columnDescriptor); } //创建新表 admin.createTable(tableDescriptor); System.out.println("创建成功"); }
5.删除表
我们注意一下，HBase不同于mysql这些，当我们删除一张表时，需要将这张表进行下线，然后再将其删除。
public static void deleteTable(String tableName) throws IOException { if (!isExistTable(tableName)) { System.out.println("表不存在"); return; } //将表进行下线 admin.disableTable(TableName.valueOf(tableName)); //删除表 admin.deleteTable(TableName.valueOf(tableName)); System.out.println("删除成功"); }
6.创建命名空间
创建命名空间同样也需要创建一个描述器，然后用admin对象进行创建一个命名空间。
public static void createNameSpace(String nameSpace) throws IOException { NamespaceDescriptor namespaceDescriptor = NamespaceDescriptor.create(nameSpace).build(); admin.createNamespace(namespaceDescriptor); System.out.println("创建成功"); }
（二）、DML操作
1.向表中插入数据
插入数据的流程为：
- 使用connection对象与表进行连接，获取表对象
- new一个put对象，对应一个rowKey
- 向put对象进行插入每列的值
- 将put对象放到表中
public static void insertData(String tableName, String rowKey, String cf, String cn, String value) throws IOException { Table table = connection.getTable(TableName.valueOf(tableName)); Put put = new Put(Bytes.toBytes(rowKey)); put.addColumn(Bytes.toBytes(cf), Bytes.toBytes(cn), Bytes.toBytes(value)); table.put(put); table.close(); }
上面注意使用完表之后要将其进行关闭。
2.读取表中数据（通过get对象，rowKey）
读取数据流程：
- 创建表连接
- 获得get对象
- 通过rowKey拿到所有rowKey对应的结果
- 遍历结果集中的Cell
public static void getData(String tableName, String rowKey, String cf, String cn) throws IOException { Table table = connection.getTable(TableName.valueOf(tableName)); Get get = new Get(Bytes.toBytes(rowKey)); Result result = table.get(get); for (Cell cell : result.rawCells()) { System.out.println("列族：" + Bytes.toString(CellUtil.cloneFamily(cell))); System.out.println("列名：" + Bytes.toString(CellUtil.cloneQualifier(cell))); System.out.println("值：" + Bytes.toString(CellUtil.cloneValue(cell))); } table.close(); }
3.获取数据通过Scan扫描器
我们如果范围取值，或者扫描全表就需要使用Scan扫描器。
table.getScanner(scan)获得的是一个结果集，其实这里可以不是迭代器，result可以迭代是因为HBase是存储大数据的，而且进行扫描全表的时候出来的数据会较多，所以将数据分成几个结果，每个结果再进行cell迭代。
public static void scanData(String tableName, String rowKey, String cf, String cn) throws IOException { Table table = connection.getTable(TableName.valueOf(tableName)); Scan scan = new Scan(); ResultScanner results = table.getScanner(scan); for (Result result : results) { for (Cell cell : result.rawCells()) { System.out.println("列族：" + Bytes.toString(CellUtil.cloneFamily(cell))); System.out.println("列名：" + Bytes.toString(CellUtil.cloneQualifier(cell))); System.out.println("值：" + Bytes.toString(CellUtil.cloneValue(cell))); } } table.close(); }
