开发者社区大数据与机器学习实时计算 Flink 正文

在离线批量导入hudi表请问怎么配置？

在离线批量导入hudi表请问怎么配置关闭 FHTTP://T.LENOVO.CN/3EZQQNlink 的检查点功能

展开

收起

圆葱猪肉包 2023-03-27 14:19:18 338 版权

1 条回答

写回答

取消提交回答

凌云Cloud

发表文章、提出问题、分享经验、结交志同道合的朋友
你圈的那行是避免在离线模式下浪费资源和时间进行 checkpointing，以提高作业的执行效率。

另外需要配置Hudi的相关信息：
```
#属性指定了在 Hudi 写操作时使用的预合并字段
hoodie.datasource.write.precombine.field = timestamp
#指定了记录 ID 字段
hoodie.datasource.write.recordkey.field = id
#指定了分区路径字段
hoodie.datasource.write.partitionpath.field = partition_path
```
2023-03-27 17:11:11

赞同展开评论

问答分类：

实时计算 Flink版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

this xml file does not appear to have any style in

47726

请问下我访问接口不通什么原因 Provisional headers are shown

1618

OSS的endpoint如何查看

36165

购买阿里国外的云服务器是否可以访问谷歌？

80370

通过www和不带www的网址输入最终都指向www.我的域名.com，求指教

123750

sql server的用户名和密码怎么查啊？

35461

配置了安全组规则，端口还是无法访问

32216

域名在腾讯云备案成功，解析到阿里云服务器，提示仍需备案？

59431

设置域名解析如何指向我的服务器url包括端口号

17531

Connection reset by peer的常见原因及解决办法

3722

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199212

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。