创建云数据库 Hbase结果表
create table liuxd_user_behavior_test_front (
row_key varchar,
from_topic varchar,
origin_data varchar,
record_create_time varchar,
PRIMARY KEY (row_key)
) with (
type = 'cloudhbase',
zkQuorum = 'xxx'
columnFamily = 'xxx',
tableName = 'xxx',
batchSize = '500'
)
注意:
- primary key支持定义多个字段。多个字段会按照rowkeyDelimiter(默认为(:))拼接起来作为rowkey。
- hbase做撤回删除操作时,如果column定义了多版本,会把所有版本的值清空。
WITH参数
参数 | 注释说明 | 备注 |
---|---|---|
zkQuorum | hbase集群配置的zk地址 | 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。 |
zkNodeParent | 集群配置在zk上的路径 | 可以在hbase-site.xml文件中找到hbase.zookeeper.quorum相关配置。 |
tableName | hbase 表名 | 无 |
userName | 用户名 | 无 |
password | 密码 | 无 |
partitionBy | 设置为true之后会在用joinKey做partition,将数据分发到join节点,提高缓存命中率。 | 可选,默认关闭 |
shuffleEmptyKey | 设置为true之后遇到空key会随机往下游做shuffle,否则往0号下游发。 | 建议打开 |
columnFamily | 列族名 | 目前只支持插入同一列族。 |
maxRetryTimes | 插入尝试次数 | 可选,默认为10 |
bufferSize | 流入多少条数据后进行去重 | 默认为5000 |
batchSize | 批次写入大小 | 可选,默认为100 |
flushIntervalMs | 最长插入时间 | 可选,默认为2000 |
writePkValue | 是否写入主键值 | 可选,默认为false |
stringWriteMod | 是否都按照string插入 | 可选,默认为false |
rowkeyDelimiter | rowKey的分隔符 | 可选,默认为(:) |
isDynamicTable | 是否为动态表 | 可选,默认为false |
本文转自实时计算——
创建云数据库 Hbase结果表