Flink中，2023-12-07发布的相关版本是否已完成灰度测试？

展开

收起

嘟嘟嘟嘟嘟嘟 2024-01-17 08:31:32 54 0

4 条回答

写回答

取消提交回答

番茄酱脑袋

还没有，正在发。此回答整理自钉群“实时计算Flink产品交流群”

2024-02-04 12:09:32

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
Flink MongoDB支持将CDAS数据写入到以下下游：
1. 文件系统（如HDFS、S3等）
2. 其他数据库（如MySQL、PostgreSQL等）
3. 消息队列（如Kafka、RabbitMQ等）
4. Elasticsearch
5. HBase
2024-01-17 14:14:17

赞同展开评论打赏
算精通

北京阿里云ACE会长
Flink MongoDB Connector 支持 Change Data Capture (CDC) 功能，可以将 MongoDB 数据库中的数据变更（增、删、改）实时同步到 Flink 作业中。Flink 支持将 CDC 数据流处理后，输出到多种下游数据存储系统，以下是一些常见的下游系统：
1. 关系型数据库：如 MySQL、Oracle、PostgreSQL 等。
2. 分布式文件系统：如 HDFS、S3 等。
3. Kafka：可以用于数据流式处理，或者作为数据湖存储。
  对于不定格式的数据处理，Flink 提供了强大的数据处理能力，可以通过 DataStream API 进行处理。DataStream API 支持处理基于时间戳的数据，以及处理窗口数据。此外，Flink 还提供了 JSON、Avro 等数据序列化/反序列化功能，可以方便地将数据从 MongoDB 数据库中取出，进行进一步处理。
  对于 MongoDB 的动态字段特性，Flink 可以通过自定义的序列化/反序列化方式来处理。在 Flink 作业中，可以定义自己的序列化/反序列化类，以适应 MongoDB 中动态字段的存储格式。
2024-01-17 08:45:55

赞同展开评论打赏
sunrr

Flink MongoDB CDC支持的下游包括Kafka，实时数仓Hologres等。对于不定格式的数据，MongoDB CDC连接器可以处理，该连接器首先读取数据库快照，然后在处理过程中持续读取带有更改流事件。此外，对于动态字段的问题，MongoDB Connector for Flink支持通过split-vector模式来生成分区，这种方式快速且均匀。

需要注意的是，如果需要将大量数据通过Flink SQL推送到MongoDB中，目前Flink官方并未提供相应的Connector，可能需要参考其他代码库。同时，Flink对MongoDB的维表查询写入功能可以由FLIP-262 MongoDB Connector提供。

2024-01-17 08:41:11

赞同展开评论打赏