DataWorks中DI离线节点里面的dateFormat会对数据源抽取过来所有date字段做format是吗?我数据源是date类型,但是抽取过来都是带了00:00:00的时分秒?"dateFormat": "MM/dd/yyyy HH:mm:ss"但是不会对timestamp、datetime之类的类型做格式是是不是?不是es reader,数据源是DB2
在DataWorks中,DI离线节点的dateFormat属性会对数据源抽取过来的所有date字段进行格式化。如果您的数据源是date类型,但是抽取过来都带有时分秒,那么您可以使用dateFormat属性来指定日期格式,例如:"dateFormat": "MM/dd/yyyy HH:mm:ss"。
dateFormat属性只会对date类型的字段进行格式化,而不会对timestamp、datetime等其他类型的字段进行格式化。此外,如果您使用的是DB2作为数据源,您需要确保您的SQL查询语句中使用了正确的日期格式函数来提取日期信息。
es reader是么 会对date类型format 源端数据有的格式 在这个参数里都需要配置下 否则会导致读不到该字段 并且列的数据会错位https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
DB2看了下配置文档没有这个参数 https://help.aliyun.com/zh/dataworks/user-guide/db2-data-source?spm=a2c4g.11186623.0.i3#task-2312409 是不是date类型本身就带时分秒呢
dateFormat配置的格式和源端保持一致呢 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,DI离线节点中的dateFormat
属性只会影响到从数据源抽取过来的日期型数据(即DATE
、DATETIME
等类型),而不影响字符串型的日期和时间戳数据。
如果您的数据源是DB2,那么您可以直接使用TIMESTAMP
类型的字段来进行抽取,并在DI离线节点中添加相应的数据转换步骤,以达到预期的效果。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。