有大佬通过flink读过hudi表吗？

当然有。Flink集成Hudi读取Hudi表是支持的，并且可以通过特定的配置和步骤实现高效的数据处理。以下是基于您提及的需求，结合知识库参考资料整理的指南：

如何使用Flink读取Hudi表

1. 启动Flink SQL会话:

   • 确保DLF（Data Lake Formation）依赖包在Hive依赖之前，因为DLF包中已嵌入Hudi依赖。
   • 使用正确的命令行参数启动Flink SQL客户端，示例如下：

     sql-client.sh \
     -j /opt/apps/FLINK/flink-current/opt/catalogs/dlf/ververica-connector-dlf-1.13-vvr-4.0.15-SNAPSHOT-jar-with-dependencies.jar \
     -j /opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/ververica-connector-hive-2.3.6-1.13-vvr-4.0.15-SNAPSHOT-jar-with-dependencies.jar
     

   • 可以设置一些测试时的配置项，如开启verbose模式、结果输出模式及检查点间隔。

2. 创建Catalog连接Hudi与Hive:

   • 分别创建DLF Catalog和Hive Catalog来分别读取Hudi表和Hive表。

     CREATE CATALOG dlf_catalog WITH (
     'type' = 'dlf',
     'access.key.id' = '<yourAccessKeyId>',
     'access.key.secret' = '<yourAccessKeySecret>',
     'warehouse' = 'oss://oss-bucket/warehouse/test.db',
     'oss.endpoint' = '<oss.endpoint>',
     'dlf.endpoint' = '<dlf.endpoint>',
     'dlf.region-id' = '<dlf.region-id>'
     );
     

     对于Hive Catalog的创建，请参照具体需求进行相应配置。

3. 读取Hudi表示例:

   • 一旦Catalog建立，你可以直接在Flink SQL中通过Catalog名访问Hudi表。

     SELECT * FROM dlf_catalog.test.hudi_tbl1;
     

   • 这里hudi_tbl1是一个假设存在的Hudi表，位于dlf_catalog.test数据库下。

高级配置与优化

• 写入性能调整: Hudi提供了多种高级参数来优化数据写入过程，比如通过write.bulk_insert.shuffle_input和write.bulk_insert.sort_input减少小文件数量，但需注意可能引入的数据倾斜风险。
• Changelog模式: 如果需要消费Hudi表的所有变更记录，可以考虑启用changelog.enabled=true，并合理配置压缩策略以避免数据丢失或延迟问题。

综上所述，Flink不仅能够读取Hudi表，还支持通过详细的配置和优化策略来满足不同场景下的数据处理需求。请根据实际环境和业务需求调整相关配置。