开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里这是什么情况?

Flink CDC里这是什么情况?3dd8a06b9316debc18993fc97fd6fe14.pngb74c1f514af38d47799c0ecdab29925f.png08d13cf2f42a94c88954cfa1bff25edd.png参考flink cdc 3.0 的文档: https://ververica.github.io/flink-cdc-connectors/master/content/%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B/mysql-starrocks-pipeline-tutorial-zh.html

简单验证了下。 目前有一个疑问想请教下:

  1. 从验证的步骤来看,可以通过bash bin/flink-cdc.sh mysql-to-starrocks.yaml 命令即可完成flink 到starrocks 的实时同步。在starrocks 的建表操作自动完成了,带来了便利性。 我们目前有些场景,使用starrocks 的smt 自动生成建表语句, 我们也希望对建表语句进行一些优化。 如果升级为3.0 的方式, 我们无法拿到flink 的sql语句。请问针对这种场景,有考虑支持把建表语句暴露出来给上层业务使用吗?或者针对这种使用场景有什么解决方案呢?1. 例如一些场景我们可以对starrocks 进行分桶等。
  2. 我们集成了一些对flink 的管理组件,例如streampark, 目前它是通过flink sql 来提交任务的。 如果升级为flink 3.0 的方式, 拿不到flink sql 的话,无法使用它对flink 的任务进行管理了。

展开
收起
小小鹿鹿鹿 2024-01-18 01:21:34 47 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    从您提供的图片中,我看到了一些与Flink CDC相关的错误信息。具体来说:

    • 提示"ClassNotFoundException",这通常意味着JVM在尝试加载某个类时未能找到该类。
    • "The driver is automatically registered via the SPI." 这意味着驱动已经被SPI自动注册。
    • "Job Description: Sync MyQStaack to DuckDB" 描述了这个任务的简单描述,即同步MyQStaack到DuckDB。

    根据这些信息,可能是您的Flink CDC配置或依赖项出现了问题,导致无法正确初始化或运行。建议您检查以下几点:

    1. 确保所有必要的依赖都已正确添加到项目中。
    2. 检查Flink CDC的版本是否与您的其他组件兼容。
    3. 查看日志以获取更多详细的错误信息。
    4. 如果可能的话,尝试在测试环境中重现这个问题,以便更好地诊断问题所在。
    2024-01-19 15:28:20
    赞同 展开评论 打赏
  • dinky 已经实现了这个管理,可以去stream park去问问看,不一定完全依赖sql的。此回答来自钉群Flink CDC 社区。

    2024-01-18 11:03:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载