开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC在sql-client创建的库和表,这个有什么方式可以解决没?

Flink CDC在sql-client创建的库和表,在重新进入到sql-client中就没有了,这个有什么方式可以解决没?我们一次性执行了多个job呢,基于hadoop yarn是默认分配的吗?还是会分配到一台机器里

展开
收起
真的很搞笑 2023-11-15 08:21:58 69 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink SQL 客户端中创建的库和表是临时的,它们只存在于当前会话中。当您退出 Flink SQL 客户端时,这些库和表将被删除。
    如果您希望保留这些库和表,您可以使用持久化存储(例如 HDFS 或 S3)来保存表数据,并在需要时从存储中加载数据。这样,即使您退出 Flink SQL 客户端,也可以随时重新加载数据并继续使用它们。
    对于您的第二个问题,Flink 在 Hadoop YARN 集群中的任务分配是由 YARN 自动完成的。YARN 会根据集群资源情况和任务需求来动态分配任务到不同的节点上运行。
    当您提交一个 Flink 作业到 YARN 集群时,Flink 会向 YARN 请求一些资源(例如 CPU 和内存),然后 YARN 将根据可用资源情况将这些资源分配给 Flink 作业。如果您的作业需要更多的资源,则 YARN 可能会将它们分布在多个节点上运行。
    总之,Flink CDC 的任务分配是自动进行的,由 Hadoop YARN 集群负责管理。您可以通过配置 YARN 参数来控制任务分配方式,例如设置每个任务所需的资源数量、限制单个节点上的任务数量等。

    2023-11-15 22:26:16
    赞同 展开评论 打赏
  • 找个开发平台 or 记事本复制粘贴,此回答整理自钉群“Flink CDC 社区”

    2023-11-15 12:36:30
    赞同 展开评论 打赏
  • Flink CDC在sql-client创建的库和表,如果重新进入sql-client中没有显示,可以尝试以下方法解决:

    1. 检查Flink SQL Client是否连接到正确的集群。可以在Flink SQL Client的连接配置中查看和修改集群信息。

    2. 检查Flink SQL Client的缓存设置。有时候,Flink SQL Client会缓存之前的查询结果,导致新的库和表无法显示。可以尝试清除缓存或者重启Flink SQL Client。

    关于多个job的执行,Flink会根据任务的资源需求和集群的资源状况进行调度。默认情况下,Flink会在YARN集群中为每个job分配一个容器。如果有多个job需要同时执行,它们会被分配到不同的容器中。当然,你也可以手动调整任务的资源分配策略,以满足特定的需求。

    2023-11-15 09:15:42
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载