Flink CDC 里YARN的container个数如何大于CPU个数？

在Flink CDC中，YARN的container个数理论上可以大于CPU核心数，但需要正确配置相关参数。根据您描述的情况，您已经尝试修改了yarn.nodemanager.resource.pcores-vcores-multiplier参数，但仍然只能分配与CPU核心数相同的container数量。以下是详细的分析和解决方案：

1. YARN资源分配的基本原理

YARN通过yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb两个参数来定义每个节点上可分配的虚拟核数（vCores）和内存资源。
- vCores：表示逻辑CPU核心数，用于限制容器的并发度。 - Memory：表示每个节点上可用的内存资源。

默认情况下，YARN会根据物理CPU核心数设置yarn.nodemanager.resource.cpu-vcores，并且一个container通常会占用至少1个vCore。因此，如果未调整相关参数，container的数量通常不会超过CPU核心数。

2. 关键参数解析

为了实现container数量大于CPU核心数，需要调整以下参数：

（1）yarn.nodemanager.resource.cpu-vcores

该参数定义了NodeManager声明调度器可使用的虚拟核数，默认值为节点实例规格的vCPU数量。
- 如果希望支持更多的container，可以手动增加该值。例如，如果物理CPU核心数为4，可以将其设置为8或更高。

（2）yarn.scheduler.minimum-allocation-vcores

该参数定义了单个container最小可请求的虚拟核数，默认值为1。
- 确保该值保持为1，以便每个container只占用1个vCore。

（3）yarn.nodemanager.resource.pcores-vcores-multiplier

该参数用于调整物理核心与虚拟核心的倍数关系，默认值为1。
- 如果您希望虚拟核心数大于物理核心数，可以将该值设置为大于1的值。例如，设置为2时，虚拟核心数将是物理核心数的两倍。

（4）yarn.nodemanager.resource.memory-mb

该参数定义了NodeManager声明调度器可使用的内存资源。确保该值足够大以支持更多container的内存需求。

3. 配置步骤

根据上述参数，您可以按照以下步骤进行配置：

（1）修改yarn-site.xml

在YARN的配置文件yarn-site.xml中添加或修改以下参数：

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>8</value> <!-- 根据需求设置虚拟核心数 -->
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-vcores</name>
  <value>1</value> <!-- 确保每个container只占用1个vCore -->
</property>
<property>
  <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
  <value>2</value> <!-- 设置虚拟核心数为物理核心数的两倍 -->
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value> <!-- 根据需求设置总内存大小 -->
</property>

（2）重启YARN服务

修改配置后，需要重启ResourceManager和NodeManager以使配置生效。

4. 验证配置

完成配置后，可以通过以下方式验证： - 使用yarn node -list命令查看节点的资源分配情况，确认vCores和Memory是否符合预期。 - 提交Flink作业，观察container的分配数量是否超过物理CPU核心数。

5. 注意事项

• 资源竞争：增加container数量可能会导致资源竞争，影响作业性能。建议根据实际负载合理调整参数。
• 内存分配：确保每个container分配的内存足够运行任务，避免因内存不足导致任务失败。
• 集群规模：如果集群规模较大，建议结合YARN的队列管理和资源调度策略进行优化。

6. 总结

通过调整yarn.nodemanager.resource.cpu-vcores、yarn.scheduler.minimum-allocation-vcores和yarn.nodemanager.resource.pcores-vcores-multiplier等参数，可以实现YARN的container数量大于物理CPU核心数。请确保内存资源充足，并根据实际需求合理配置参数。

如果您仍有问题，请检查是否遗漏了某些配置项，或者提供更多上下文信息以便进一步分析。