Flink CDC想doris写数据的时候，一般需要设置这个参数嘛？

在使用 Flink CDC 向 Doris 写入数据时，Prop.setProperty("hidden_columns", hiddenColumns); 这个参数的设置并不是一个通用的必要配置。是否需要设置该参数取决于具体的业务场景和 Doris 表的设计需求。

1. 参数含义

hidden_columns 是 Doris 中的一个特性，用于定义隐藏列（Hidden Columns）。隐藏列不会直接暴露给用户查询，但在某些场景下可以用于内部处理或优化。例如： - 隐藏列可以存储一些元信息（如数据来源、时间戳等），这些信息对用户透明但对系统有用。 - 在 Flink 写入 Doris 的场景中，如果目标表设计中包含隐藏列，并且需要通过 Flink 动态写入这些隐藏列的数据，则需要显式设置 hidden_columns 参数。

2. 是否需要设置

• 不需要设置的情况：如果目标 Doris 表没有定义隐藏列，或者隐藏列的值由 Doris 自动填充（如默认值或系统生成值），则无需在 Flink 中设置 hidden_columns 参数。
• 需要设置的情况：如果目标 Doris 表中存在隐藏列，并且需要通过 Flink 显式写入这些隐藏列的值，则必须设置 hidden_columns 参数，并确保 Flink 数据流中包含对应的字段。

3. 如何设置

如果需要设置 hidden_columns 参数，可以通过以下方式实现：

Properties Prop = new Properties();
Prop.setProperty("hidden_columns", "column1,column2");

其中，column1,column2 是目标 Doris 表中定义的隐藏列名称，多个列名之间用逗号分隔。

4. 注意事项

• Doris 表设计：在 Doris 中创建表时，隐藏列需要显式声明。例如：

  CREATE TABLE example_table (
    id INT,
    name STRING,
    __hidden_column1__ STRING PROPERTIES("hidden" = "true"),
    __hidden_column2__ STRING PROPERTIES("hidden" = "true")
  )
  DISTRIBUTED BY HASH(id) BUCKETS 10;
  

  上述示例中，__hidden_column1__ 和 __hidden_column2__ 是隐藏列。

• Flink 数据流匹配：确保 Flink 数据流中的字段与 Doris 表的隐藏列一一对应。如果字段不匹配，可能会导致写入失败或数据丢失。

• 版本兼容性：请确保使用的 Flink Doris Connector 版本支持隐藏列功能。根据知识库资料，建议使用 Flink Doris Connector 版本 ≥ 1.5.2，并确保 Flink 版本 ≥ 1.15（开源版）或 ≥ 1.17（阿里云实时计算 Flink 版）。

5. 总结

• 如果目标 Doris 表中未定义隐藏列，或隐藏列的值由 Doris 自动生成，则无需设置 hidden_columns 参数。
• 如果目标 Doris 表中定义了隐藏列，并且需要通过 Flink 显式写入这些列的值，则必须设置 hidden_columns 参数，并确保 Flink 数据流中包含对应的字段。

希望以上解答能够帮助您明确是否需要设置该参数以及如何正确配置。