开发者社区> 问答> 正文

DataWorks同步任务elastic search reader读date类型的字段

已解决

DataWorks同步任务elastic search reader读date类型的字段

展开
收起
提个问题! 2024-06-11 15:12:01 12 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    现象:读不到es为date类型的字段;或者发现字段串列,对比源端和目的端发现是date类型的字段没有读过来,导致其他的字段串列。
    解决:同步任务转脚本模式 在es reader端和column同级加一下这两个参数"dateFormat":"yyyy-MM-dd、HH:mm:ss""allowMissingDateFormat":false。
    原因:es建索引的时候@timestamp字段没有加dateformart,同步任务reader也没有配置dateformat,且默认忽略了这个date类型的数据导致错位。当es reader插件和es建索引都加了dateformat的时候,es reader插件的配置优先级高于es建索引时的配置。
    2024-06-11 15:12:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云Elasticsearch体系架构与特性解析 立即下载
开源与云:Elasticsearch应用剖析 立即下载
《Elasticsearch全观测解决方案》 立即下载