flinkcdc支持读取es数据么?我们现在有一部分数据在es现在想实时搞到holo里面

flinkcdc支持读取es数据么?我们现在有一部分数据在es现在想实时搞到holo里面

展开
收起
真的很搞笑 2023-07-02 12:08:31 488 分享 版权
3 条回答
写回答
取消 提交回答
  • Flink CDC 不直接支持从 Elasticsearch(ES)中读取数据。Flink CDC 是一个专门用于捕获关系型数据库中的变更数据并进行同步的解决方案。

    如果您需要将部分数据从 Elasticsearch 实时搬迁到 Holo(可能指 Hologres),以下是一些可行的方案:

    1. 使用 Elasticsearch 的 API 或插件:您可以使用 Elasticsearch 提供的 Scroll API 或 Search API,逐页读取 Elasticsearch 中的数据,并将其转换成 Flink 能够处理的格式,例如 JSON 或 Avro。然后,您可以将转换后的数据写入到其他数据源中,如 Kafka、HDFS 或关系型数据库。最后,使用 Flink CDC 从目标数据源中捕获变更数据并同步到 Flink 中进行实时处理和分析。

    2. 批处理方式:如果您的数据仍然保留在 Elasticsearch 中且不会频繁更新,您可以考虑使用批处理方式。通过编写一个批处理作业,从 Elasticsearch 中读取数据并将其导入到 Holo 中。这可以使用 Flink 提供的 Elasticsearch 连接器或者自定义开发的方式来完成。

    请注意,Elasticsearch 通常用作全文搜索和分析引擎,而不是业务存储数据库。因此,如果您的数据主要存储在 Elasticsearch 中,而非关系型数据库,建议考虑将数据导出到其他数据源以便进行实时处理和分析。

    此外,针对您提到的 SLS,它可以作为消息队列使用,并将埋点数据存储一个月。您可以将埋点数据传递到 MaxCompute 进行进一步处理。

    2023-07-30 12:59:14
    赞同 展开评论
  • 北京阿里云ACE会长

    Flink CDC 是一个基于 Change Data Capture 技术的数据同步解决方案,主要用于从关系型数据库中捕获变更数据并同步到 Flink 中进行处理和分析。而 Elasticsearch (ES) 是一个分布式的全文搜索和分析引擎,主要用于存储和查询文档数据。因此,Flink CDC 并不直接支持从 Elasticsearch 中读取数据。
    不过,您可以考虑使用 Elasticsearch 的 API 或者插件,将 Elasticsearch 中的数据导出到其他数据源中,然后使用 Flink CDC 进行数据同步。具体来说,您可以使用 Elasticsearch 的 Scroll API 或者 Search API,将 Elasticsearch 中的数据逐页读取出来,然后将其转换为 Flink 可以处理的格式,例如 JSON 或者 Avro 格式。然后,将转换后的数据写入到其他数据源中,例如 Kafka、HDFS 或者关系型数据库。最后,使用 Flink CDC 从目标数据源中捕获变更数据并同步到 Flink 中进行处理和分析。

    2023-07-30 10:30:17
    赞同 展开评论
  • es一般不做业务存储数据库,cdc一般拉取的都是业务存储数据库,你写批处理,数据在es,你写批处理从es拉取到hologres。
    如果你要用sls的话,sls可以当做一个消息队列来用,用来存一个月的埋点数据,埋点数据再投递到maxcompute
    https://mvnrepository.com/artifact/com.alibaba.ververica/ververica-connector-sls![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_14d30a323e2e4982b8acb880930bb915.png),此回答整理自钉群“Flink CDC 社区”"

    2023-07-02 12:20:32
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理