开发者学堂课程【分布式数据库 HBase快速入门:RowKey 设计】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/101/detail/1766
RowKey 设计
内容介绍
一、RowKey 设计
一、RowKey 设计
一条数据的唯一标识就是 rowkey,那么这条数据存储于哪个分区,取决于 rowkey处于哪个一个预分区的区间内,设计 rowkey 的主要目的,就是让数据均匀的分布于所有的 region 中,在一定程度上防止数据倾斜。
接下来我们就谈一谈 rowkey 常用的设计方案。
1.生成随机数、hash、散列值
比如:
原本 rowKey 为1001的, SHA1 后变成,dd01903921ea24941c26a48f2cec24e0bb0e8cc7u
原本 rowKey 为3001 的, SHA1 后变成,49042c54de64a1e9bf0b33e00245660ef92dc7bdw
原本 rowKey 为 5001 的 , SHA1 后变成,7b61dec07e02c188790670af43e717f0f46e89134
在做此操作之前,一般我们会选择从数据集中抽取样本,来决定什么样的 rowKey 来 Hash 后作为每个分区的临界值。
2.字符串反转
20170524000001 转成 10000042507102
20170524000002 转成 20000042507102
这样也可以在一定程度上散列逐步 put 进来的数据。
for (Cell cell : cells) i
System. out.println("RK:" + Bytes.toString(CellUtil.cloneRow(cel1))
+",CF:"+Bytes.toString(Cellutil.cloneFamily(cell))
+ ",CN:" + Bytes.toString(Cellutil.cloneQualifier(cell))
+ ",VALUE:" + Bytes.toString(Cellutil.cloneValue(cell)));
}
}
3.字符串拼接
20170524000001_a12e
20170524000001_93i7