开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问DataWorks中是否支持动态的OSS路径数据读取,例如OSS里面的数据根据Path路径?

请问DataWorks中是否支持动态的OSS路径数据读取,例如OSS里面的数据根据Path路径(日期)已经区分,我想动态的根据这个Path路径(日期)进行分别读取CSV或者JSON的数据?

展开
收起
真的很搞笑 2023-08-08 16:45:38 79 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    数据工厂支持通过动态OSS路径来读取OSS数据:

    您可以使用SQL语句或者动态字段来生成OSS路径。例如:
    sql
    Copy
    select concat('oss://yourbucket/',cast(date_format(now(),'%Y-%m-%d') as string)) as path
    上述SQL语句会生成类似oss://yourbucket/2021-08-24这样的OSS路径,其中日期部分是动态生成的。

    您也可以使用流计算的动态字段来生成OSS路径。

    在OSS告警源或OSS数据源中,您可以指定path字段为动态字段,DataWorks就会根据这个动态路径来读取对应的OSS文件。

    DataWorks也支持读取OSS目录下的多个文件,您只需要指定OSS目录的路径,DataWorks会自动读取该目录下的所有文件。

    2023-08-09 14:04:57
    赞同 展开评论 打赏
  • Q:hive的外表oss同步,报配置的path格式有误找不到文件路径:
    image.png

    A:建议将"readMode":"hdfs",改成jdbc模式https://help.aliyun.com/document_detail/143413.html ,这样可以一些隐藏的文档也可以读取到。
    可以试试DataWorks的调度参数,在你的路径后面跟上日期调度参数 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-09 00:10:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载