开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中DI离线节点里面的会对数据源抽取过来所有date字段做format是吗?

DataWorks中DI离线节点里面的dateFormat会对数据源抽取过来所有date字段做format是吗?我数据源是date类型,但是抽取过来都是带了00:00:00的时分秒?"dateFormat": "MM/dd/yyyy HH:mm:ss"但是不会对timestamp、datetime之类的类型做格式是是不是?不是es reader,数据源是DB2

展开
收起
真的很搞笑 2023-11-13 11:25:59 90 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,DI离线节点的dateFormat属性会对数据源抽取过来的所有date字段进行格式化。如果您的数据源是date类型,但是抽取过来都带有时分秒,那么您可以使用dateFormat属性来指定日期格式,例如:"dateFormat": "MM/dd/yyyy HH:mm:ss"。

    dateFormat属性只会对date类型的字段进行格式化,而不会对timestamp、datetime等其他类型的字段进行格式化。此外,如果您使用的是DB2作为数据源,您需要确保您的SQL查询语句中使用了正确的日期格式函数来提取日期信息。

    2023-11-30 16:57:35
    赞同 展开评论 打赏
  • es reader是么 会对date类型format 源端数据有的格式 在这个参数里都需要配置下 否则会导致读不到该字段 并且列的数据会错位https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
    https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
    DB2看了下配置文档没有这个参数 https://help.aliyun.com/zh/dataworks/user-guide/db2-data-source?spm=a2c4g.11186623.0.i3#task-2312409 是不是date类型本身就带时分秒呢
    dateFormat配置的格式和源端保持一致呢 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-13 16:03:23
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,DI离线节点中的dateFormat属性只会影响到从数据源抽取过来的日期型数据(即DATEDATETIME等类型),而不影响字符串型的日期和时间戳数据。
    如果您的数据源是DB2,那么您可以直接使用TIMESTAMP类型的字段来进行抽取,并在DI离线节点中添加相应的数据转换步骤,以达到预期的效果。

    2023-11-13 14:13:33
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多