Flink:1.12.1
Flink-connector: 2.2
Hbase: 2.1.0 + CDH6.3.2
现象:如果hbase列族设置了TTL,当某一rowkey写入数据,到达过期时间,列族会被hbase标记为删除。
后续如果有相同key的数据过来,flink无法将数据写入到hbase中,查询hbase中列族一直为空。
执行的过程大致如下:
创建Hbase表,test, 两个列族 cf1 , TTL 60, cf2, TTL 120,
数据TTL分别为1分钟,2分钟。
使用sql写入数据至表中
insert into test
select
'rowkey',
ROW('123'),
ROW('456')
from
sometable;
过一分钟后,通过hbase 查询,可发现无cf1数据,两分钟后该rowkey无对应数据。
此时再通过flink写入数据,发现无法写入,且flink不报错
请问这个情况是Bug,还是Hbase的问题呢?*来自志愿者整理的flink邮件归档
你是如何定义的source 表 和sink 表的吗? 能贴出来具体的建表语句吗?*来自志愿者整理的FLINK邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。