开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中ES写入报错409 version_conflict_engine_?

DataWorks中ES写入报错409 version_conflict_engine_exception?

展开
收起
真的很搞笑 2023-09-10 08:26:02 240 0
1 条回答
写回答
取消 提交回答
  • 现象:com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-04], Description:[Insert data error.]. - status:[409], error: {"type":"version_conflict_engine_exception","reason":"[20220801]: version conflict, required seqNo [90443], primary term [1]. current document has seqNo [90444] and primary term [1]","index_uuid":"Aqnk8exxxxxZEw","shard":"0","index":"radar_brand_thirty_day_rank-20220801"}
    原因:触发了ES的乐观锁的机制,当前版本号应该是xxx,但是更新命令传过来的版本号是另一个,所以才会出现版本冲突,update的时候,同时有人在删索引数据
    解决:

    确认是否有删数据的行为

    任务的actionType从update 写,改成index 详情可以参考es writer官方文档,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-10 19:42:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多