如下请问机器学习PAI的这个问题怎么解决？
flinksql消费upsert-kafka每次重启都是重新消费的情况大家有遇到没，有没有办法把消费设置成latest
展开
收起
1
条回答
写回答
写回答
-
是的，FlinkSQL消费UPSERT-Kafka时，每次重启都会从开始位置重新消费，这是Flink的消费模式决定的。Flink默认会从起始位置消费数据，除非你显式地指定了消费的偏移量。
如果你想让FlinkSQL消费UPSERT-Kafka时从最新的偏移量开始消费，你可以通过设置
startingOffset属性来实现。在你的FLINK_HOME/conf/flink-conf.yaml文件中，添加以下配置：job.default-parallelism: 1 execution.checkpointing.interval: 60000 execution.checkpointing.timeout: 60000 table.exec.source.auto-offset-reset: latest这样，FlinkSQL就会从最新的偏移量开始消费UPSERT-Kafka的数据。
2023-11-30 13:44:26赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
热门讨论
热门文章
为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
954
PAI做了线性回归的模型，预测结果后，回归模型评估的节点，结果R2的值是负的，我理解R2的取值范围?
384
为什么 PAI DSW中一直无法使用GPU加速tensorflow，如何使用GPU加速.
276
训练的模型可以离线使用吗？没看到这方面的文档
545
灵积平台上，用通义千问的开源大模型接口响应非常慢
212
在api调用夸克搜索时，遇到权限不足问题
330
AUC 为何越训练越低？DSSM 中这个有用吗？只有user 和item 塔可以去掉这个么？
690
如何高效的往交互建模（dsw）上传较大的文件，有从阿里云盘中直接下载或类似的方法吗？
3914
机器学习PAI天池实验室中赠送的GPU的时间用完后，怎么购买？
368
为什么我的DSW，文件区没有显示我的notebook内容，也没有显示我的天池文档等部分
465
展开全部
【玩转数据系列一】人口普查统计案例
16343
机器学习PAI全新功效——实时新闻热点Online Learning实践
13630
【玩转数据系列五】农业贷款发放预测
11532
【玩转数据系列十六】机器学习PAI通过声音分辨男女（含语音特征提取相关数据和代码）
8189
农业贷款预测的回归算法实现_1257
947
【图算法】金融风控实验_997
901
使用PAI+LLaMA Factory 微调 Qwen2-VL 模型，搭建文旅领域知识问答机器人
956
视频生成框架EasyAnimate正式开源！
65085
人工智能（AI）技术的发展史
911
云栖实录 | GenAI 时代 AI Infra 工程技术趋势与平台演进
497
展开全部
