Flink CDC在sql-client创建的库和表,在重新进入到sql-client中就没有了,这个有什么方式可以解决没?我们一次性执行了多个job呢,基于hadoop yarn是默认分配的吗?还是会分配到一台机器里
在 Flink SQL 客户端中创建的库和表是临时的,它们只存在于当前会话中。当您退出 Flink SQL 客户端时,这些库和表将被删除。
如果您希望保留这些库和表,您可以使用持久化存储(例如 HDFS 或 S3)来保存表数据,并在需要时从存储中加载数据。这样,即使您退出 Flink SQL 客户端,也可以随时重新加载数据并继续使用它们。
对于您的第二个问题,Flink 在 Hadoop YARN 集群中的任务分配是由 YARN 自动完成的。YARN 会根据集群资源情况和任务需求来动态分配任务到不同的节点上运行。
当您提交一个 Flink 作业到 YARN 集群时,Flink 会向 YARN 请求一些资源(例如 CPU 和内存),然后 YARN 将根据可用资源情况将这些资源分配给 Flink 作业。如果您的作业需要更多的资源,则 YARN 可能会将它们分布在多个节点上运行。
总之,Flink CDC 的任务分配是自动进行的,由 Hadoop YARN 集群负责管理。您可以通过配置 YARN 参数来控制任务分配方式,例如设置每个任务所需的资源数量、限制单个节点上的任务数量等。
Flink CDC在sql-client创建的库和表,如果重新进入sql-client中没有显示,可以尝试以下方法解决:
检查Flink SQL Client是否连接到正确的集群。可以在Flink SQL Client的连接配置中查看和修改集群信息。
检查Flink SQL Client的缓存设置。有时候,Flink SQL Client会缓存之前的查询结果,导致新的库和表无法显示。可以尝试清除缓存或者重启Flink SQL Client。
关于多个job的执行,Flink会根据任务的资源需求和集群的资源状况进行调度。默认情况下,Flink会在YARN集群中为每个job分配一个容器。如果有多个job需要同时执行,它们会被分配到不同的容器中。当然,你也可以手动调整任务的资源分配策略,以满足特定的需求。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。