刚开始学习hadoop

简介: 初学大数据之hadoop练习

刚刚写了或的表描述、扫描表数据、添加表数据、创建表。代码如下:

package com.hbase.test;



import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;

import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.HBaseAdmin;

/**
 * 
 * 类功能说明:创建表
 *
 * @author 
 * @version 
 */
public class HbaseTest {

	public static void main(String[] args) throws Exception {
		//创建一个配置类
		Configuration conf = HBaseConfiguration.create();		
		//配置hbase的zookeeper
		conf.set("hbase.zookeeper.quorum", "hmaster,hslave01,hslave02");
		
		//创建数据库管理员
		HBaseAdmin admin = new HBaseAdmin(conf) ;
		
		//创建表描述对象
		HTableDescriptor hdc = new HTableDescriptor(TableName.valueOf("sc")) ;
		
		//列描述对象
		HColumnDescriptor hcd = new HColumnDescriptor("cinfo") ;
		hcd.setMaxVersions(3) ;	//设置最大版本号
		
		//进行设置
		hdc.addFamily(hcd);
		if(!admin.tableExists("sc")){
			admin.createTable(hdc);
		}
		//释放 资源
		admin.close();
		System.out.println("===表创建成功===");
	}

}

package com.hbase.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

public class HbaseDome2 {
	
	private static Configuration conf = null;
	static{
		conf = HBaseConfiguration.create();
		conf.set("hbase.zookeeper.quorum", "hmaster,hslave01,hslave02");
	}
	//添加数据
	public static void addOneDate() throws IOException{
		//创建表对象
		HTable ht  = new HTable(conf,"sc");
		
		//创建put对象 
		Put put = new Put(Bytes.toBytes("p0001"));
		
		put.add(Bytes.toBytes("cinfo"), Bytes.toBytes("name"),Bytes.toBytes("zhangsan"));
		
		//添加put到表对象
		ht.put(put);
		ht.close();
		System.out.println("数据插入成功");
	}
	
	//获得表描述
	public static void getTableDesc(String tableName) throws IOException{
		HTable ht  = new HTable(conf,"sc");
		//获得表描述对象
		HTableDescriptor td = ht.getTableDescriptor();
		//获得列描述对象数组
		HColumnDescriptor[] hds = td.getColumnFamilies();
		for(HColumnDescriptor hd : hds){
			//列族名
			String name = hd.getNameAsString();
			int bs = hd.getBlocksize();
			int minVers = hd.getMinVersions();
			int maxVers = hd.getMaxVersions();
			int defVers = HColumnDescriptor.DEFAULT_VERSIONS;
			System.out.println("name"+name+
					"blocksize"+bs+"minVer:"+minVers+"maxVer:"+maxVers+"defVer:"+defVers);	
		}
		ht.close();
	}
	//获取表的所有数据
	public static void scanTable(String tableName) throws IOException{
		HTable ht= new HTable(conf,"sc");
		
		Scan scan = new Scan();
		
		//ResultScanner	是客户端获取值的接口
		ResultScanner scanner = ht.getScanner(scan);
		//每行的数据就是result,存储get获得scan操作后获得单行的值、
		for (Result res : scanner) {
			
			for (Cell cell : res.listCells()) {
				System.out.println("***********************");
				System.out.println("行键 rowkey:"+Bytes.toString(res.getRow()));
				System.out.println("列族 clumnFam:"+Bytes.toString(CellUtil.cloneFamily(cell)));
				System.out.println("列 clumn:"+Bytes.toString(CellUtil.cloneQualifier(cell)));
				System.out.println("时间戳 timestamp:"+cell.getTimestamp());
				System.out.println("值 value:"+Bytes.toString(CellUtil.cloneValue(cell)));
				System.out.println("mvcc版本"+cell.getMvccVersion());
			}
		}
		ht.close();
		
	}
	public static void main(String[] args) throws IOException {
		//getTableDesc("sc");
		//addOneDate();
		scanTable("sc");
	}
}


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
189 0
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力(三)
Hadoop学习:深入解析MapReduce的大数据魔力(三)
112 0
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
83 1
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
57 4
|
2月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
43 2
|
7月前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
77 5
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(二)
Hadoop学习:深入解析MapReduce的大数据魔力(二)
161 0
|
存储 分布式计算 Hadoop
Hadoop学习指南:探索大数据时代的重要组成——HDFS(上)
Hadoop学习指南:探索大数据时代的重要组成——HDFS(上)
126 0
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(一)
Hadoop学习:深入解析MapReduce的大数据魔力(一)
182 0
|
存储 XML 分布式计算
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)

相关实验场景

更多