开发者社区> 问答> 正文

hbase 列设置TTL过期后,flink不能再写入数据

Flink:1.12.1

Flink-connector: 2.2

Hbase: 2.1.0 + CDH6.3.2

现象:如果hbase列族设置了TTL,当某一rowkey写入数据,到达过期时间,列族会被hbase标记为删除。

后续如果有相同key的数据过来,flink无法将数据写入到hbase中,查询hbase中列族一直为空。

执行的过程大致如下:

创建Hbase表,test, 两个列族 cf1 , TTL 60, cf2, TTL 120,

数据TTL分别为1分钟,2分钟。

使用sql写入数据至表中

insert into test

select

'rowkey',

ROW('123'),

ROW('456')

from

sometable;

过一分钟后,通过hbase 查询,可发现无cf1数据,两分钟后该rowkey无对应数据。

此时再通过flink写入数据,发现无法写入,且flink不报错

请问这个情况是Bug,还是Hbase的问题呢?*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-02 16:56:47 1185 0
1 条回答
写回答
取消 提交回答
  • 你是如何定义的source 表 和sink 表的吗? 能贴出来具体的建表语句吗?*来自志愿者整理的FLINK邮件归档

    2021-12-02 17:03:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载