flink cdc 能从kafka消费数据 写到doris吗？
flink cdc 能从kafka消费数据 写到doris吗？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。确实，Flink CDC 可以从 Kafka 消费数据并写入到 Doris。首先，通过 Flink Kafka Connector，我们可以实时流式地消费 Kafka 中的数据。然后，利用 Doris Flink Connector，我们能够将数据实时或批次同步到 Doris 数据库中。
此外，Flink CDC 结合 Apache Doris Flink Connector 和 Doris Stream Load 可以实现两阶段提交，进一步实现MySQL数据库分库分表的实时高效接入到Doris数据仓库中进行分析。
2023-12-11 16:20:46赞同 展开评论 打赏 -
-
是的，Flink CDC可以从Kafka消费数据并写入到Doris中。Flink CDC支持从多种数据库（如MySQL、MariaDB、PG、Oracle、MongoDB 、Oceanbase、TiDB、SQLServer等）捕获变更数据，并将这些变更实时同步到下游存储，包括Kafka、Pulsar消息队列，以及Hudi、Iceberg、Doris等数据仓库及数据湖中。
要使用Flink CDC从Kafka消费数据并写入Doris，你需要按照以下步骤操作：
- 首先，你需要在Doris中创建一个目标表，用于接收从Kafka消费的数据。
- 然后，你需要使用Flink CDC从Kafka消费数据，并将这些数据转换为Doris表所需的格式。
- 最后，你需要使用Flink的JDBC connector将处理后的数据写入Doris数据库。
在提交Flink作业时，你需要指定连接到Doris数据库所需的JDBC驱动程序和连接参数。
2023-12-11 09:03:00赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关文章
相关电子书
更多
