Flink CDC里我通过oracle的connector往hudi插入数据,flink web ui里面为啥Sink: clean_commits 这个步骤并行度是1,我设置的默认并行度是5,但是它改变不了为什么?
Flink CDC 中,Sink: clean_commits 步骤的并行度是由 Hudi 控制台配置决定的。您可以通过以下方式修改 Hudi 控制台的配置:
- 打开 Hudi 控制台,找到 "hive-site.xml" 文件。
在文件中添加以下配置项:
<property> <name>hoodie.datasource.write.recordkey.field</name> <value>your_record_key_field</value> </property> <property> <name>hoodie.datasource.write.partitionpath.field</name> <value>your_partition_path_field</value> </property> <property> <name>hoodie.datasource.write.table.type</name> <value>COPY_ON_WRITE</value> </property> <property> <name>hoodie.datasource.write.operation</name> <value>insert</value> </property> <property> <name>hoodie.datasource.write.parallelism</name> <value>5</value> </property>
其中,
your_record_key_field
和your_partition_path_field
分别表示您的记录键字段和分区路径字段。将hoodie.datasource.write.parallelism
的值设置为您想要的并行度。- 保存并重启 Hudi 服务。
- 重新运行 Flink CDC 任务,Sink: clean_commits 步骤的并行度应该会根据您的配置改变。