创建云数据库 Hbase结果表

简介:

创建云数据库 Hbase结果表

 
  
  1. create table liuxd_user_behavior_test_front (
  2. row_key varchar,
  3. from_topic varchar,
  4. origin_data varchar,
  5. record_create_time varchar,
  6. PRIMARY KEY (row_key)
  7. ) with (
  8. type = 'cloudhbase',
  9. zkQuorum = 'xxx'
  10. columnFamily = 'xxx',
  11. tableName = 'xxx',
  12. batchSize = '500'
  13. )

注意:

  • primary key支持定义多个字段。多个字段会按照rowkeyDelimiter(默认为(:))拼接起来作为rowkey。
  • hbase做撤回删除操作时,如果column定义了多版本,会把所有版本的值清空。

WITH参数

参数 注释说明 备注
zkQuorum hbase集群配置的zk地址 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。
zkNodeParent 集群配置在zk上的路径 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。
tableName hbase 表名
userName 用户名
password 密码
partitionBy 设置为true之后会在用joinKey做partition,将数据分发到join节点,提高缓存命中率。 可选,默认关闭
shuffleEmptyKey 设置为true之后遇到空key会随机往下游做shuffle,否则往0号下游发。 建议打开
columnFamily 列族名 目前只支持插入同一列族。
maxRetryTimes 插入尝试次数 可选,默认为10
bufferSize 流入多少条数据后进行去重 默认为5000
batchSize 批次写入大小 可选,默认为100
flushIntervalMs 最长插入时间 可选,默认为2000
writePkValue 是否写入主键值 可选,默认为false
stringWriteMod 是否都按照string插入 可选,默认为false
rowkeyDelimiter rowKey的分隔符 可选,默认为(:)
isDynamicTable 是否为动态表 可选,默认为false
本文转自实时计算—— 创建云数据库 Hbase结果表
相关文章
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障: 数据库底层文件被误删除,数据库不能使用。要求恢复hbase和hive数据库。
488 12
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
257 0
|
存储 SQL 分布式数据库
深入解析HBase与关系数据库的关键差异
【8月更文挑战第31天】
637 1
|
SQL Java 分布式数据库
实现HBase表和RDB表的转化(附Java源码资源)
该文介绍了如何将数据从RDB转换为HBase表,主要涉及三个来源:RDB Table、Client API和Files。文章重点讲解了RDB到HBase的转换,通过批处理思想,利用RDB接口批量导出数据并转化为`List<Put>`,然后导入HBase。目录结构包括配置文件、RDB接口及实现类、HBase接口及实现类,以及一个通用转换器接口和实现。代码中,`RDBImpl`负责从RDB读取数据并构造`Put`对象,`HBaseImpl`则负责将`Put`写入HBase表。整个过程通过配置文件`transfer.properties`管理HBase和RDB的映射关系。
177 3
实现HBase表和RDB表的转化(附Java源码资源)
|
存储 分布式计算 Java
大数据存储技术(3)—— HBase分布式数据库
大数据存储技术(3)—— HBase分布式数据库
|
存储 Java 分布式数据库
【分布式计算框架】HBase数据库编程实践
【分布式计算框架】HBase数据库编程实践
479 1
|
数据处理 数据库
uniCloud 云数据库(新建表、增、删、改、查)
uniCloud 云数据库(新建表、增、删、改、查)
1397 0
|
存储 NoSQL Java
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
470 0
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
878 0
|
存储 缓存 大数据
【大数据】分布式数据库HBase
【大数据】分布式数据库HBase
412 0

热门文章

最新文章