DataWorks中ES写入报错409 ,为什么?

DataWorks中ES写入报错409 version_conflict_engine_exception

展开
收起
wenti 2023-02-27 14:03:44 1043 分享 版权
2 条回答
写回答
取消 提交回答
  • 现象:com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-04], Description:[Insert data error.]. - status:[409], error: {"type":"version_conflict_engine_exception","reason":"[20220801]: version conflict, required seqNo [90443], primary term [1]. current document has seqNo [90444] and primary term [1]","index_uuid":"Aqnk8exxxxxZEw","shard":"0","index":"radar_brand_thirty_day_rank-20220801"} 原因:触发了ES的乐观锁的机制,当前版本号应该是xxx,但是更新命令传过来的版本号是另一个,所以才会出现版本冲突,update的时候,同时有人在删索引数据 解决:

    确认是否有删数据的行为

    任务的actionType从update 写,改成index 详情可以参考es writer官方文档——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-02-27 20:45:35
    赞同 展开评论
  • 月移花影,暗香浮动

    409错误是由于ES中已经存在相同ID的文档,导致写入失败。可以通过更改ID或者使用update API来解决。

    2023-02-27 14:12:10
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅

热门讨论

热门文章

还有其他疑问?
咨询AI助理