请教一下各位大佬flink-helm-chart里面的values.yaml配置文件怎么修改？

在使用 flink-helm-chart 部署 Flink 作业时，values.yaml 文件是 Helm Chart 的核心配置文件，用于定义 Flink 集群的部署参数。以下是针对 values.yaml 文件修改的详细指导，结合您提供的知识库资料和 Flink 实时计算的相关配置要求进行说明。

1. 基础配置

基础配置部分主要用于定义 Flink 集群的核心参数，例如镜像、资源分配等。以下是一些关键字段及其作用：

• image: 指定 Flink 镜像的名称和版本。

  image:
  repository: flink
  tag: 1.15.0
  pullPolicy: IfNotPresent
  

  • repository: Flink 镜像的仓库地址。
  • tag: Flink 版本号。
  • pullPolicy: 镜像拉取策略，建议设置为 IfNotPresent 或 Always。

• jobManager 和 taskManager: 定义 JobManager 和 TaskManager 的资源配置。

  jobManager:
  replicas: 1
  resources:
    limits:
      cpu: "1"
      memory: "2Gi"
  taskManager:
  replicas: 2
  resources:
    limits:
      cpu: "2"
      memory: "4Gi"
  

  • replicas: JobManager 和 TaskManager 的副本数。
  • resources: 资源限制，包括 CPU 和内存。

2. 运行参数配置

运行参数配置部分用于定义 Flink 作业的运行时参数，例如并行度、状态后端等。以下是一些常见配置项：

• parallelism: 设置 Flink 作业的默认并行度。

  parallelism: 4
  

• state.backend: 配置状态后端存储类型（如 RocksDB 或 Gemini）。

  state:
  backend: gemini
  gemini:
    kvSeparateValueSizeThreshold: 200
    autoTuneMode: ACTIVE
  

  • kvSeparateValueSizeThreshold: 触发 KV 分离的 Value 大小阈值，默认值为 200 字节。
  • autoTuneMode: 自适应调参模式，推荐保持默认值 ACTIVE。

• checkpointing: 配置检查点相关参数。

  checkpointing:
  interval: 60000
  timeout: 300000
  mode: EXACTLY_ONCE
  

  • interval: 检查点间隔时间（毫秒）。
  • timeout: 检查点超时时间（毫秒）。
  • mode: 检查点模式，支持 EXACTLY_ONCE 和 AT_LEAST_ONCE。

3. 日志配置

日志配置部分用于定义 Flink 集群的日志输出行为，确保作业运行时的日志能够被正确记录和查看。

• logger: 控制台是否显示数据结果。

  logger:
  enabled: true
  printIdentifier: "flink-job-log"
  

  • enabled: 是否启用日志输出，默认值为 false。
  • printIdentifier: 日志标识符，用于检索特定作业的日志信息。

• logLevel: 设置日志级别。

  logLevel: INFO
  

4. 数据摄入配置

如果您的 Flink 作业涉及数据摄入（如从 MySQL 同步到 Hologres），需要在 values.yaml 中添加数据源和目标端的配置。

• source: 数据源配置。

  source:
  type: mysql
  hostname: localhost
  port: 3306
  username: username
  password: password
  tables: holo_test.\.*
  scanBinlogNewlyAddedTableEnabled: true
  

  • scanBinlogNewlyAddedTableEnabled: 是否启用新增表功能，默认值为 false。

• sink: 数据目标端配置。

  sink:
  type: hologres
  endpoint: ****.hologres.aliyuncs.com:80
  dbname: cdcyaml_test
  username: ${secret_values.holo-username}
  password: ${secret_values.holo-password}
  excludeSchemaChanges: [drop, truncate.table]
  

  • excludeSchemaChanges: 排除特定的 Schema 变更操作，如删除表或清空表。

5. 其他注意事项

• 自适应调参: 如果使用 Gemini 状态后端，建议启用自适应调参功能，并根据实际需求调整 autoTuneMode 参数。
• 新增表功能: 如果需要同步新增表的历史数据，请确保正确配置 scan.newly-added-table.enabled 参数，并避免同时开启 scan.binlog.newly-added-table.enabled 和 scan.newly-added-table.enabled。
• 权限配置: 在多用户环境下，确保为其他阿里云账号或 RAM 用户授予必要的权限，详情请参考项目空间授权文档。

通过以上配置，您可以根据实际需求灵活调整 values.yaml 文件，确保 Flink 集群的高效运行和作业的稳定执行。如果有进一步的问题，请随时补充说明！