开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink cdc支持实时同步oracle数据到starrocks么?

Flink cdc支持实时同步oracle数据到starrocks么?

展开
收起
三分钟热度的鱼 2023-12-28 18:34:32 278 0
3 条回答
写回答
取消 提交回答
  • 是的,Flink CDC支持实时同步Oracle数据到StarRocks。要实现这一功能,首先需要在Oracle中启用归档日志和补充日志,因为Flink CDC是基于Debezium的LogMiner实现的,LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。然后,在Flink程序中创建Oracle CDC连接。需要注意的是,对于Oracle中的表结构更改(如添加新表),可能需要手动在StarRocks中进行同步,或者重新运行StarRocks Migrate Tool进行数据同步。

    2023-12-30 08:55:09
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC确实支持实时同步Oracle数据到StarRocks。首先,你需要确保Oracle中相关表已开启归档日志和补充日志,因为Flink CDC基于Debezium的LogMiner实现,LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。然后,在Flink程序中创建Oracle CDC连接。

    此外,Flink CDC 3.0框架可以轻松地从CDC数据源(如MySQL、Kafka)到StarRocks构建流式ELT管道,该管道能够将整个数据库、分库分表以及来自源端的schema change同步到StarRocks。

    通过StarRocks结合Flink构建开源实时数仓的方案,可以同时提供秒级数据同步和极速分析查询的能力。同时,通过StarRocks主键模型,也可以更好地支持实时和频繁更新等场景。

    2023-12-29 16:14:22
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    实时计算Flink版未提供官方内置Oracle CDC Connector,如需使用,可以通过管理自定义Connectors来实现,您需要根据社区定义的连接器标准开发您自定义的连接器,才能正确地被Flink全托管产品识别并使用,因此您需要明确的连接器Meta文件和申明Factory类。自定义连接器开发详情请参见User-defined Sources & Sinks。https://help.aliyun.com/zh/flink/user-guide/manage-custom-connectors ---实时计算 Flink版产品文档

    2023-12-29 15:38:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像