DataWorks中DI离线节点里面的会对数据源抽取过来所有date字段做format是吗？

DataWorks中DI离线节点里面的dateFormat会对数据源抽取过来所有date字段做format是吗？我数据源是date类型，但是抽取过来都是带了00:00：00的时分秒？"dateFormat": "MM/dd/yyyy HH:mm:ss"但是不会对timestamp、datetime之类的类型做格式是是不是？不是es reader，数据源是DB2

展开

收起

真的很搞笑 2023-11-13 11:25:59 46 0

3 条回答

写回答

取消提交回答

sunrr

在DataWorks中，DI离线节点的dateFormat属性会对数据源抽取过来的所有date字段进行格式化。如果您的数据源是date类型，但是抽取过来都带有时分秒，那么您可以使用dateFormat属性来指定日期格式，例如："dateFormat": "MM/dd/yyyy HH:mm:ss"。

dateFormat属性只会对date类型的字段进行格式化，而不会对timestamp、datetime等其他类型的字段进行格式化。此外，如果您使用的是DB2作为数据源，您需要确保您的SQL查询语句中使用了正确的日期格式函数来提取日期信息。

2023-11-30 16:57:35

赞同展开评论打赏
芯在这

es reader是么会对date类型format 源端数据有的格式在这个参数里都需要配置下否则会导致读不到该字段并且列的数据会错位https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
DB2看了下配置文档没有这个参数 https://help.aliyun.com/zh/dataworks/user-guide/db2-data-source?spm=a2c4g.11186623.0.i3#task-2312409 是不是date类型本身就带时分秒呢
dateFormat配置的格式和源端保持一致呢，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

2023-11-13 16:03:23

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。

在DataWorks中，DI离线节点中的dateFormat属性只会影响到从数据源抽取过来的日期型数据（即DATE、DATETIME等类型），而不影响字符串型的日期和时间戳数据。
如果您的数据源是DB2，那么您可以直接使用TIMESTAMP类型的字段来进行抽取，并在DI离线节点中添加相应的数据转换步骤，以达到预期的效果。

2023-11-13 14:13:33

赞同展开评论打赏