开发者社区 问答 正文

hive on hbase是否可以解决hive修改记录的问题,性能怎么样

hive 的 update 可以使用 kudu 解决,on hbase 的情况不太了解。
1、kudu本身就不成熟,用多了就是坑,国内都没有成熟的案例
2、建议大家用kudu去付费给商业公司或者自己有特别厉害的人
3、全部离线,就直接 转化为parquet列存,再spark分析即可

展开
收起
hbase小助手 2018-11-15 13:49:26 2918 分享 版权
1 条回答
写回答
取消 提交回答
  • 研究spark/hive/hbase相关技术

    hive on hbase修改记录其实就是先查询出满足条件的数据,然后新写入一条更新列信息的同一rowkey数据,即每次修改都会有读取然后写入,如果过滤列没有没有索引批量读时会scan全表,性能很差。
    建议修改数据使用phoenix,对过滤列创建二级索引,加速查询。

    2019-07-17 23:14:36
    赞同 展开评论