开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中ES写入报错409 ,为什么?

DataWorks中ES写入报错409 version_conflict_engine_exception

展开
收起
wenti 2023-02-27 14:03:44 912 0
2 条回答
写回答
取消 提交回答
  • 现象:com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-04], Description:[Insert data error.]. - status:[409], error: {"type":"version_conflict_engine_exception","reason":"[20220801]: version conflict, required seqNo [90443], primary term [1]. current document has seqNo [90444] and primary term [1]","index_uuid":"Aqnk8exxxxxZEw","shard":"0","index":"radar_brand_thirty_day_rank-20220801"} 原因:触发了ES的乐观锁的机制,当前版本号应该是xxx,但是更新命令传过来的版本号是另一个,所以才会出现版本冲突,update的时候,同时有人在删索引数据 解决:

    确认是否有删数据的行为

    任务的actionType从update 写,改成index 详情可以参考es writer官方文档——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-02-27 20:45:35
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    409错误是由于ES中已经存在相同ID的文档,导致写入失败。可以通过更改ID或者使用update API来解决。

    2023-02-27 14:12:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多