DataWorks中ES写入报错409 为什么?

DataWorks中ES写入报错409 version_conflict_engine_exception?

展开
收起
真的很搞笑 2023-09-26 09:29:52 261 分享 版权
1 条回答
写回答
取消 提交回答
  • 现象:com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-04], Description:[Insert data error.]. - status:[409], error: {"type":"version_conflict_engine_exception","reason":"[20220801]: version conflict, required seqNo [90443], primary term [1]. current document has seqNo [90444] and primary term [1]","index_uuid":"Aqnk8exxxxxZEw","shard":"0","index":"radar_brand_thirty_day_rank-20220801"}
    原因:触发了ES的乐观锁的机制,当前版本号应该是xxx,但是更新命令传过来的版本号是另一个,所以才会出现版本冲突,update的时候,同时有人在删索引数据
    解决:

    确认是否有删数据的行为

    任务的actionType从update 写,改成index 详情可以参考es writer官方文档,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-26 17:14:26
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理