单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

2021-12-06 15:30:01 476 1

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及sink顺序,是否可以做到?请问下,有没有大佬做过类似的事情?

另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序?

*来自志愿者整理的flink邮件归档

取消 提交回答
全部回答(1)
  • 说了是一只鲳鱼
    2021-12-06 17:48:59

    你可以先用 map 再用 addSink,这样他们的调用被 chain 在一起,可以达到先写入 mysql ,再写入 kafka 的目的。

    datastream.map(new MySQLSinkMapFunction()).addSink(new

    FlinkKafkaProducer()).

    也就是将 mysql sink 伪装成了一个 MapFunction,里面先做了 写 mysql 的动作,写成功后再将数据输出到下游。

    另外,如果要在 SQL 中解决这个需求的话,会比较麻烦,因为标准语法中没有这么个语法支持这个功能。

    *来自志愿者整理的flink邮件归档

    0 0
相关问答

0

回答

各位大佬,我测试起了3条线程同时往3个mysql表中写入,每条线程分别写入100000条数据,用了f

2022-06-28 15:38:04 62浏览量 回答数 0

1

回答

Mysql 某个字段下数据的重复次数

2016-02-14 18:08:44 1969浏览量 回答数 1

1

回答

MYSQL在一台主机的数据库上查询数据,在另外一台上插入,如何实现?

2016-02-14 18:32:14 2216浏览量 回答数 1

1

回答

mysql查询表中某个字段,重复次数最多的前10条数据

2016-02-15 11:36:04 4909浏览量 回答数 1

1

回答

mysql decimal(N,0) 不修改精度怎么存入带有小数的数据

2016-02-13 15:03:41 4178浏览量 回答数 1

1

回答

mysql如何查询一周的数据?

2016-02-13 15:22:09 2238浏览量 回答数 1

1

回答

mysql修改数据必须加上条件,且条件为主键吗?

2016-02-13 15:24:08 2142浏览量 回答数 1

1

回答

mysql选出数据为空的记录,如何写?

2016-02-13 17:53:39 1462浏览量 回答数 1

1

回答

mysql中各上万条数据的两张表联合查询该如何优化?

2016-02-14 09:28:15 3432浏览量 回答数 1

1

回答

mysql中,没数据的日期补0,能实现吗?

2016-02-14 09:56:03 4039浏览量 回答数 1
+关注
0
文章
262
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载