有哪位大佬通过flink sql 多行数据 合并成一个 集合 输出到mq 的么?
楼主你好,可以使用Flink SQL中的聚合函数将多行数据合并为一个集合,然后通过Flink的MQ Sink将结果输出到MQ中。
具体实现步骤如下:
CREATE TABLE input_table (
id INT,
name STRING,
age INT
) WITH (
'connector.type' = 'kafka',
'connector.topic' = 'input_topic',
'connector.properties.bootstrap.servers' = 'localhost:9092',
'format.type' = 'json'
)
SELECT id, COLLECT(name) as names, COLLECT(age) as ages
FROM input_table
GROUP BY id
CREATE TABLE mq_table (
id INT,
names ARRAY<STRING>,
ages ARRAY<INT>
) WITH (
'connector.type' = 'mq',
'connector.topic' = 'output_topic',
'connector.properties.host' = 'localhost',
'connector.properties.port' = '5672',
'connector.properties.username' = 'guest',
'connector.properties.password' = 'guest',
'connector.properties.virtual-host' = '/',
'format.type' = 'json'
)
INSERT INTO mq_table
SELECT id, COLLECT(name) as names, COLLECT(age) as ages
FROM input_table
GROUP BY id
以上就是通过阿里云Flink SQL将多行数据合并成一个集合并输出到MQ的实现方法。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。