分布式NoSQL列存储数据库Hbase_列族的设计（五）
知识点01：课程回顾
- Hbase存储原理
- 存储架构
- Hbase：对外提供分布式内存
- Master：集群管理
- RegionServer：数据管理
- HDFS：提供分布式磁盘
- DataNode
- Zookeeper：实现辅助选举、实现元数据存储
- 存储结构
- Table：分布式表，一张表划分了多个Region
- RegionServer：分布式集群节点，管理所有表的region
- Region：每张表的每个分区，对表的数据进行划分
- region的划分规则：按照范围划分，从-oo 到+oo进行有序划分
- 数据的划分规则：按照Rowkey或者Rowkey前缀，Rowkey属于哪个范围，写入对应的region
- Store：对分区内部的数据再次划分，按照列族进行划分Store
- MemStore：内存区域，用于存储刚写入的数据，使用的RegionServer的JVM内存
- 如果到达一定的阈值，就会写入HDFS，变成文件
- StoreFile：逻辑上属于Store，物理上存储在HDFS【HFILE】
- HDFS存储关系
- Hbase目录：/hbase
- Hbase数据：/hbase/data
- NS目录
- Table的目录
- Region的目录
- 列族的目录
- 热点问题
- 现象：大量的读写请求全部集中在某个Region或者某个RegionServer上
- 原因：数据分配的不均衡
- 情况一：表只有一个分区
- 情况二：表有多个分区，但是Rowkey是连续的，或者与分区的划分不匹配
- Rowkey是连续，写入同一个Region
- 分区都是按照数字划分的，但是Rowkey是字母开头
- 解决
- 实现预分区
- 方式一：创建表时候：SPLITS => [10，30……]
- 方式二：指定分区的个数，根据数字和字母的Hash组合
- 应用：Rowkey的前缀是字母和数字组合
- 方式三：Java API
- 合理的设计Rowkey，根据Rowkey的前缀或者完整的Rowkey来划分分区
- Rowkey的设计规则
- 业务原则：尽量用最常用的查询条件作为Rowkey的前缀
- 目的：尽量走索引查询
- 唯一原则：每条Rowkey是不能重复
- 目的：唯一标识一条数据
- 组合原则：将最常用的几个查询条件组合构建Rowkey
- 目的：尽量大部分查询都走索引
- 散列原则：Rowkey整体或者前缀不能是连续的，需要构建随机的散列
- 目的：避免热点问题
- 长度原则：在满足业务需求情况下，越短越好
- 目的：提高性能
- Rowkey本身每列都会存储：存储占用的空间越大
- Rowkey会构建索引：内存的占用越大，比较就越慢
知识点02：课程目标
- 聊天系统案例
- 目标
- 掌握基于业务需求场景的Hbase表的设计
- 熟练Hbase JavaAPI
- 实现
- 写：保存【重点】
- Rowkey构建的代码
- 数据写入的代码
- 读：查询【重点】
- 过滤器代码
- 二级索引【重点】
- 问题：如果查询数据的条件，不是rowkey的前缀，怎么解决查询效率的问题？
- Hbase只支持RowKey作为唯一索引，不支持创建索引
- 与MySQL不一样
id name age sex addr phone 主键 select * from table where id = 1 select * from table where name=‘zhangsan’ | create index name on table(name);
- 本质：基于Rowkey索引之上，自己构建一层索引
知识点03：Hbase设计：列族的设计
- 设计目的
- Hbase特点：按列存储，允许存储一行有非常多的列
- 工作中主要处理的场景：对列进行处理
select name,count(*) from table group by name;
- 列族的设计：将列进行分组
- 列族的规则：将拥有相似IO属性的列划分为同一列族
- 要读一起读，要写一起写
- 底层实现
- Store：每个Region中根据列族将不同列族的列存储在不同的Store
- 设计规则
- 个数原则：Hbase列族的个数有一定的要求，大部分情况下建议给2个
- 如果列的个数比较多：30列以上
- 2 ~ 3
- 如果列的个数比较少，数据量不大
- 1个
- 长度原则 ：能满足业务需求的情况下，越短越好
- 名称没有其他功能，只要有标示性即可
- Hbase底层数据结构：KV结构，按列存储
- K：rowkey+列族+列名+Timestamp
- V：value
知识点04：聊天系统案例：需求分析
- 目标
- 掌握Hbase表的设计：Rowkey设计、列族设计
- 熟练应用Hbase Java API
- 需求
- 基于Hbase来设计聊天系统的数据存储
- 需求1：当用户聊天时，将用户的聊天的信息写入Hbase
- A发送消息给B
发送人ID 接受者ID 时间 内容……
- 写入Hbase
- 需求2：允许用户查询聊天记录：指定时间查询两个用户的聊天信息
- 查询某个时间当前用户与其他用户的聊天记录
- 时间戳
- 发送人ID
- 接收人ID
- 数据
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m51LYFsL-1616666919956)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322092911806.png)]
| 消息时间 | 发件人昵称 | 发件人账号 | 发件人性别 | 发件人IP | 发件人系统 | 发件人手机型号 | 发件人网络制式 | 发件人GPS | 收件人昵称 | 收件人IP | 收件人账号 | 收件人系统 | 收件人手机型号 | 收件人网络制式 | 收件人GPS | 收件人性别 | 消息类型 | 双方距离 | 消息 |
| msg_time | sender_nickyname | sender_account | sender_sex | sender_ip | sender_os | sender_phone_type | sender_network | sender_gps | receiver_nickyname | receiver_ip | receiver_account | receiver_os | receiver_phone_type | receiver_network | receiver_gps | receiver_sex | msg_type | distance | message |
| 2020/05/08 15:11:33 | 古博易 | 14747877194 | 男 | 48.147.134.255 | Android 8.0 | 小米 Redmi K30 | 4G | 94.704577,36.247553 | 莱优 | 97.61.25.52 | 17832829395 | IOS 10.0 | Apple iPhone 10 | 4G | 84.034145,41.423804 | 女 | TEXT | 77.82KM | 天涯海角惆怅渡，牛郎织女隔天河。佛祖座前长顿首，只求共度一百年。 |
知识点05：聊天系统案例：Hbase表设计
- NameSpace的设计
create_namespace 'MOMO_CHAT'
- 表的设计
- Rowkey设计：每一条聊天记录都是一个Rowkey的数据,Rowkey怎么设计？
- 业务原则
- 唯一原则
- 散列原则
- 组合原则
- 长度原则
- 需求：根据时间戳、发件人ID、收件人ID查询数据
- Rowkey：MD5【发件人_收件人_时间戳】取8位_发件人_收件人_时间戳
- 发件人_收件人_时间戳
- 列族设计
- 个数原则
- 长度原则
- 需求：存储聊天记录所有列，列的个数不多，给定1个列族
C1
- 列的设计
- 直接使用数据中的每一列即可
- 预分区
- 规则：划分多个分区，根据Rowkey的设计划分
- Hbase中提供了数字与字母组合的指定分区个数的方式：HexStringSplit
- 建表语句
create 'MOMO_CHAT:MSG', {NAME => "C1", COMPRESSION => "GZ"}, { NUMREGIONS => 6, SPLITALGO => 'HexStringSplit'}
- COMPRESSION：压缩
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fa0jBwS0-1616666919959)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322094757899.png)]
知识点06：聊天系统案例：环境准备
- 参考附录一导入Maven依赖
- 构建以下包，并依次添加代码
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AdmYCQsN-1616666919960)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210321214639429.png)] - entity：实体类，JavaBean
- Msg：用于将每一条消息封装为一个对象
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kRiU1ypz-1616666919961)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322101623133.png)]
- service：应用层
- ChatMessageService：用于实现用户数据查询的接口
public interface ChatMessageService { //根据条件进行查询方法 List<Msg> getMessage(String date, String sender, String receiver) throws Exception; //关闭资源方法 void close(); }
- 给定时间、发送人、接收人、返回所有聊天记录
- tool：工具类
- ExcelReader：用于读取Excel表中的数据，从每一列中随机选择一个值，模拟生成用户之间的聊天数据
- readXlsx：用于接收Excel文件地址和要读取的表名，将每一列和这一列的所有数据构建一个KV
//参数一：Excel文件的地址 //参数二：指定读取哪个表格
- //返回值：Map集合
K：String：列名称 V：List：这一列对应的所有数据 public static Map<String, List> readXlsx(String path, String sheetName) ```
- randomColumn：随机的从某一列总取某一个值
//参数一：Excel中的所有数据 //参数二：指定获取的列名 //返回值：从指定列名中随机返回一个值 public static String randomColumn(Map<String, List<String>> resultMap, String columnName) ``` - getOneMsg：用于从整张Excel表中让每一列都随机产生一个值，构建一条消息数据 ```java //参数：Excel中的所有数据 //返回值：模拟的数据对应的Msg对象 public static Msg getOneMsg(Map<String, List<String>> resultMap) ``` - 运行测试，得到一条数据 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3aHK6cHg-1616666919962)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322103055968.png)]
知识点07：聊天系统案例：模拟生成数据
- 目标
- 模拟产生用户聊天数据，将每条聊天数据写入Hbase表中
- 路径
- step1：读取Excel文件，读取指定表格
- step2：从表格的每一列中随机生成一条数据，构建一条模拟数据
- step3：将模拟数据封装在一个Msg对象中
- 实现
- 读取Excel文件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XPxKWFGg-1616666919964)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105117623.png)] - 随机取某一列的一个值
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9a9g0u0B-1616666919964)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105145249.png)] - 随机生成一条数据
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hm39BwML-1616666919965)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322105206464.png)]
- 总结
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GvWhnY47-1616666919965)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322103055968.png)]
知识点08：聊天系统案例：构建Rowkey
- 目标
- 基于表的设计构建Rowkey
- HbaseJava API
- step1：构建连接
- step2：构建Table对象
- step3：写入数据
table.put(Put)
- 路径
- step1：根据每条模拟数据，获取时间、发送人ID、接收人ID
- step2：基于时间戳、发送人ID、接收人ID构建MD5编码
- step3：使用MD5前8位+发送人ID+接收人ID+时间戳，构建Rowkey返回
- 实现
//构建rowkey，根据每条数据的内容来生成rowkey:ROWKEY = MD5Hash8位_发件人账号_收件人账号_时间戳 private static String getRowKey(Msg msg) throws Exception { //构建一个动态字符串，用于拼接Rowkey StringBuilder stringBuilder = new StringBuilder(msg.getSender_account()); stringBuilder.append("_"); stringBuilder.append(msg.getReceiver_account()); stringBuilder.append("_"); //转换时间戳 stringBuilder.append(input.parse(msg.getMsg_time()).getTime()); //构建MD5前缀 byte[] orginkey = Bytes.toBytes(stringBuilder.toString()); String md5AsHex = MD5Hash.getMD5AsHex(orginkey).substring(0, 8); //返回最终rowkey return md5AsHex + "_"+stringBuilder.toString(); }
- 总结
- Rowkey必须根据需求提前设计
- 在构建Put等DML操作时，提前基于数据构建Rowkey即可
知识点09：聊天系统案例：测试写入代码
- 目标
- 将每条模拟数据写入Hbase
- 路径
- step1：基于Rowkey构建Put对象
- step2：获取模拟数据中每一列，添加到Put对象中
- step3：对表执行Put操作，将每条模拟数据，构建一个Put，写入hbase表中中，观察结果
- 实现
//写入Hbase表 private static void writeToHbase(Table table) throws Exception { for(int i = 0;i<100 ;i++){ //step1：先获取要写入的数据 Map<String, List<String>> maps = ExcelReader.readXlsx("datas/momo/测试数据集.xlsx", "陌陌数据"); Msg msg = ExcelReader.getOneMsg(maps); //测试 // System.out.println(msg); //step2：构建rowkey String rowkey = getRowKey(msg); // System.out.println(rowkey); //step3：写入Hbase，构建Put对象 Put put = new Put(Bytes.toBytes(rowkey)); //添加每一列到put对象中 // put.addColumn(列族、列、值) put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_msg_time), Bytes.toBytes(msg.getMsg_time())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_nickyname), Bytes.toBytes(msg.getSender_nickyname())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_account), Bytes.toBytes(msg.getSender_account())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_sex), Bytes.toBytes(msg.getSender_sex())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_ip), Bytes.toBytes(msg.getSender_ip())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_os), Bytes.toBytes(msg.getSender_os())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_phone_type), Bytes.toBytes(msg.getSender_phone_type())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_network), Bytes.toBytes(msg.getSender_network())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_sender_gps), Bytes.toBytes(msg.getSender_gps())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_nickyname), Bytes.toBytes(msg.getReceiver_nickyname())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_ip), Bytes.toBytes(msg.getReceiver_ip())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_account), Bytes.toBytes(msg.getReceiver_account())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_os), Bytes.toBytes(msg.getReceiver_os())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_phone_type), Bytes.toBytes(msg.getReceiver_phone_type())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_network), Bytes.toBytes(msg.getReceiver_network())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_gps), Bytes.toBytes(msg.getReceiver_gps())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_receiver_sex), Bytes.toBytes(msg.getReceiver_sex())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_msg_type), Bytes.toBytes(msg.getMsg_type())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_distance), Bytes.toBytes(msg.getDistance())); put.addColumn(Bytes.toBytes(cf_name), Bytes.toBytes(col_message), Bytes.toBytes(msg.getMessage())); //让表执行Put操作 table.put(put); } }
- 总结
- 写入hbase只要设计好rowkey，构建Put，添加列，执行即可
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jaacGobF-1616666919966)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322110352464.png)]
知识点10：聊天系统案例：查询需求分析
- 目标
- 根据时间【日期】、发送人ID、接收人ID查询用户在指定时间的聊天记录
- Hbase JavaAPI
- step1：构建连接
- step2：构建Table
- step3：读分为两种
- Get：给定rowkey，只返回一条数据
- Scan：基于各种条件的复杂查询，返回多条数据
- 路径
- step1：指定时间[2021-03-22]、发送人ID、接收人ID查询条件，构建Scan
- step2：根据条件构建过滤器
ff98a62c_17351912952_17742251415_1616381252000
- Rowkey前缀范围过滤：startrow，stoprow
- Rowkey前缀过滤：PrefixFIlter
- 列值过滤：SingleColumnValueFilter
- 发送人ID = 给定的发送人ID
- 收件人ID = 给定的收件人ID
- 开始时间：2021-03-22 00:00:00【闭区间】
- 结束时间：2021-03-23 00:00:00【开区间】
- 四个条件：并且：and
- 列的过滤：MultipleColumnPrefixFilter
- step3：在Scan中加载过滤器
- 实现
//构建返回值 List<Msg> msgs = new ArrayList<>(); //step1：先构建连接 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181"); conn = ConnectionFactory.createConnection(conf); //step2：构建表的对象 Table table = conn.getTable(tbName); //step3：构建Scan + Filter Scan scan = new Scan(); String startTime = date+" 00:00:00"; String endTime = date+" 23:59:59"; SingleColumnValueFilter valueFilter1 = new SingleColumnValueFilter( Bytes.toBytes(cf_name), Bytes.toBytes("msg_time"), CompareOperator.GREATER_OR_EQUAL, Bytes.toBytes(startTime)); SingleColumnValueFilter valueFilter2 = new SingleColumnValueFilter( Bytes.toBytes(cf_name), Bytes.toBytes("msg_time"), CompareOperator.LESS_OR_EQUAL, Bytes.toBytes(endTime)); SingleColumnValueFilter valueFilter3 = new SingleColumnValueFilter( Bytes.toBytes(cf_name), Bytes.toBytes("sender_account"), CompareOperator.EQUAL, Bytes.toBytes(sender)); SingleColumnValueFilter valueFilter4 = new SingleColumnValueFilter( Bytes.toBytes(cf_name), Bytes.toBytes("receiver_account"), CompareOperator.EQUAL, Bytes.toBytes(receiver)); FilterList list = new FilterList(); list.addFilter(valueFilter1); list.addFilter(valueFilter2); list.addFilter(valueFilter3); list.addFilter(valueFilter4); scan.setFilter(list);
- 总结
- step1：分析需求，使用哪种过滤器
- step2：构建Scan和过滤器即可
知识点11：聊天系统案例：测试查询代码
- 目标
- 将查询结果，输出打印
- 路径
- step1：将返回的每条Rowkey的数据中的每一列取出
- step2：将每一列赋值为Msg对象的对应属性
- step3：输出每一条Msg数据
- 实现
ResultScanner scanner = table.getScanner(scan); //step5：将每个rowkey的数据取出转换为Msg对象，放入集合中 for (Result result : scanner) { //每个rowkey构建一个Msg对象 Msg msg = new Msg(); //读取Rowkey中每一列的数据赋值给msg的属性 // result.getValue(列族，列) msg.setSender_nickyname(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_nickyname)))); msg.setSender_account(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_account)))); msg.setSender_sex(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_sex)))); msg.setSender_ip(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_ip)))); msg.setSender_os(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_os)))); msg.setSender_phone_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_phone_type)))); msg.setSender_network(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_network)))); msg.setSender_gps(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_sender_gps)))); msg.setReceiver_nickyname(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_nickyname)))); msg.setReceiver_account(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_account)))); msg.setReceiver_sex(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_sex)))); msg.setReceiver_ip(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_ip)))); msg.setReceiver_os(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_os)))); msg.setReceiver_phone_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_phone_type)))); msg.setReceiver_network(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_network)))); msg.setReceiver_gps(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_receiver_gps)))); msg.setDistance(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_distance)))); msg.setMsg_type(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_msg_type)))); msg.setMessage(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_message)))); msg.setMsg_time(Bytes.toString(result.getValue(Bytes.toBytes(cf_name),Bytes.toBytes(col_msg_time)))); //将msg放入集合 msgs.add(msg); } return msgs;
- 总结[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OteMzxhZ-1616666919966)(20210322_分布式NoSQL列存储数据库Hbase（五）.assets/image-20210322112127417.png)]
- step1：执行Scan，得到所有符合条件的数据
- step2：迭代每条数据进行处理即可
知识点12：聊天系统案例：查询问题
- 问题
- 根据当前Rowkey的设计以及当前的需求，无法实现基于索引查询，性能较差，如何解决？
- 原因
- Rowkey的设计：MD58位+发件人+收件人+消息时间戳
- 索引查询：只有根据Rowkey或者Rowkey的前缀查询，才走索引查询
- 必须：发件人+收件人+消息时间戳
- 查询条件：发件人、收件人、时间【天】
- 问题：即使Rowkey中包含了我们经常查询的列，但凡查询条件不在Rowkey中，不能做索引查询，怎么解决？
- 假设
rowkey：id_name_age id name age addr phone
- 走索引
- 查询id等于001的所有信息
- 查询id等于001名字为张三的所有信息
- 查询id等于001名字为张三，并且年龄为18的所有信息
- 不走索引：全表扫描
- 查询张三的所有信息
- 查询18岁的所有信息
- 查询上海的所有数据信息
- 查询号码为110的所有信息
- 解决
- 二级索引
知识点13：二级索引
- 目标
- 基于一级索引之上，构建一层索引，通过走两次索引来代替全表扫描
- Hbase中的唯一索引是Rowkey
- 目标：得到所有符合条件的数据
- 思考：能不能先得到所有符合条件的rowkey，再通过rowkey得到所有符合条件的数据
- 路径
- step1：先构建原始数据表
- step2：根据查询需求，构建索引表
- step3：先查询索引表，再查询原始数据表
- 实现
- 原始数据表
rowkey:name_id id name age sex addr zhangsan_001 001 zhangsan 18 male shanghai lisi_002 002 lisi 18 female beijing zhangsan_003 003 zhangsan 20 male ……
- 哪些查询走索引？
- name
- name + id
- 哪些查询不走索引？
- id
- age
- sex
- addr
- 需求：根据id查询对应id的所有数据
- 不走索引
- 解决方案：构建二级索引
- 原始数据表：记录所有原始数据
rowkey:name_id id name age sex addr zhangsan_001 001 zhangsan 18 male shanghai lisi_002 002 lisi 18 female beijing zhangsan_003 003 zhangsan 20 male
- 数据索引表：记录查询条件与原表Rowkey的映射关系
rowkey:id_name col：原表的rowkey 001_zhangsan zhangsan_001 002_lisi lisi_002 003_zhangsan zhangsan_003 ……
- 查询过程：查询id = 003
- step1：先根据条件查询索引表，获取所有符合条件的原表的rowkey
- 根据索引表的前缀匹配
003_zhangsan zhangsan_003
- step2：根据原表的rowkey获取数据
zhangsan_003 003 zhangsan 20 male
- 总结
- 在原表之上构建索引表
- 先查询索引表，再查询原表
- Hive的问题
- Hive中能否执行create index
- 可以
- 要求：0.7 ~ 3.x
- 原因：Hive中索引表不会自动同步原始数据表，必须手动通过MapReduce同步索引表
- Hbase问题：索引表如何与原表保持一致的问题
- 方案一：当客户端往Hbase原表写入时，在客户端中也往索引表写一份
- 不会用的
- 优点：最简单
- 缺点：Hbase无法保证不同表不同的rowkey的事务性，不能实现同时成功或者同时失败，性能很差
- 方案二：协处理器，类似于Hive中的UDF
- 自定义开发代码，让Hbase实现监听原表，如果原表的数据发生变化，索引自动发生变化
- 优点：Hbase原生发生，可以满足原子性包括性能
- 缺点：开发比较麻烦
- 方案三：第三方工具
- Phoenix：专门为Hbase所设计的工具，底层通过大量协处理器来实现，提供SQL接口
create index
- 自动创建索引表，维护索引同步
- ES：ElasticSearch / Solr
附录一：Maven 依赖
<repositories> <repository> <id>aliyun</id> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> </repository> </repositories> <properties> <hbase.version>2.1.2</hbase.version> </properties> <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>${hbase.version}</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>${hbase.version}</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <!-- Xml操作相关 --> <dependency> <groupId>com.github.cloudecho</groupId> <artifactId>xmlbean</artifactId> <version>1.5.5</version> </dependency> <!-- 操作Office库 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.0.1</version> </dependency> <!-- 操作Office库 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>4.0.1</version> </dependency> <!-- 操作Office库 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml-schemas</artifactId> <version>4.0.1</version> </dependency> <!-- 操作JSON --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.62</version> </dependency> <!-- phoenix core --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.0</version> </dependency> <!-- phoenix 客户端 --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-queryserver-client</artifactId> <version>5.0.0-HBase-2.0</version> </dependency> </dependencies>
<!-- 操作Office库 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml-schemas</artifactId> <version>4.0.1</version> </dependency> <!-- 操作JSON --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.62</version> </dependency> <!-- phoenix core --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.0</version> </dependency> <!-- phoenix 客户端 --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-queryserver-client</artifactId> <version>5.0.0-HBase-2.0</version> </dependency> </dependencies>
