开发者社区> 问答> 正文

DataWorks同步任务elastic search reader读date类型的字段

已解决

DataWorks同步任务elastic search reader读date类型的字段

展开
收起
提个问题 2024-06-11 15:12:01 6 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    现象:读不到es为date类型的字段;或者发现字段串列,对比源端和目的端发现是date类型的字段没有读过来,导致其他的字段串列。
    解决:同步任务转脚本模式 在es reader端和column同级加一下这两个参数"dateFormat":"yyyy-MM-dd、HH:mm:ss""allowMissingDateFormat":false。
    原因:es建索引的时候@timestamp字段没有加dateformart,同步任务reader也没有配置dateformat,且默认忽略了这个date类型的数据导致错位。当es reader插件和es建索引都加了dateformat的时候,es reader插件的配置优先级高于es建索引时的配置。
    2024-06-11 15:12:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载