开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中ftp数据源写入脚本,filename可以自动加日期后缀么?

DataWorks中ftp数据源写入脚本,filename可以自动加日期后缀么?

展开
收起
真的很搞笑 2023-10-10 18:14:47 78 0
5 条回答
写回答
取消 提交回答
  • DataWorks中ftp数据源写入脚本,可以自动加日期后缀。您可以在FTP Writer节点的参数设置中,将“filename”参数设置为“${datetime(yyyyMMddHHmmss)}”,这样就可以自动生成当前日期和时间的日期后缀。需要注意的是,datetime函数的参数可以自定义,您可以根据实际需求设置日期格式。

    2023-10-13 16:52:53
    赞同 展开评论 打赏
  • 阿里云DataWorks中FTP数据源写入脚本,filename可以自动加日期后缀。您可以在FTP数据源写入脚本中,使用日期操作符,如strftime()、strptime()等,将日期转换为字符串,并将字符串添加到filename后缀中。

    2023-10-13 15:32:35
    赞同 展开评论 打赏
  • 在DataWorks中,可以通过使用变量和函数来实现将当前日期添加到FTP数据源的文件名后缀中。以下是一种常见的实现方法:

    1. 在DataWorks控制台中,进入所需的项目空间。

    2. 创建一个数据集成任务,并将FTP Writer作为目标组件。

    3. 在FTP Writer的配置页面,在“文件名”字段中输入包含文件名的基本部分。例如,如果您想要的文件名格式是data_20220101.csv,则在此处输入data_

    4. 在“文件名”字段中点击右侧的“fx”按钮,进入表达式编辑器。

    5. 在表达式编辑器中,使用$YYYYMMDD变量和字符串拼接函数来构建带有日期后缀的文件名。以下是一个示例表达式:

      concat('data_', $YYYYMMDD, '.csv')
      

      这个表达式将会生成类似于data_20220101.csv的文件名。

    6. 完成表达式后,点击确认以保存设置。

    通过上述步骤,您可以在DataWorks中动态地为FTP数据源的文件名添加当前日期的后缀。

    请注意,$YYYYMMDD是DataWorks内置的系统变量,代表当前日期。您可以根据需求选择其他日期格式的变量,具体可参考DataWorks的官方文档。

    2023-10-11 14:23:24
    赞同 展开评论 打赏
  • 可以脚本模式配置 然后filename里加一个调度参数,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-11 09:40:54
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,可以通过以下步骤将FTP数据源的文件名加上日期后缀:

    1. 在DataWorks控制台中,点击“数据开发”进入数据开发页面。
    2. 在数据开发页面中,点击“创建数据开发任务”按钮,进入任务创建页面。
    3. 在任务创建页面中,填写任务名称、任务描述等信息,然后选择“FTP Reader”作为任务类型。
    4. 在任务配置页面中,填写FTP的连接信息,然后点击“保存”按钮。
    5. 在FTP Reader任务的输出配置页面中,选择“MaxCompute Writer”作为输出类型。
    6. 在MaxCompute Writer任务的配置页面中,填写MaxCompute的连接信息,然后点击“保存”按钮。
    7. 在MaxCompute Writer任务的SQL配置页面中,编写将文件名加上日期后缀的SQL语句,例如:
    SELECT
        filename,
        DATE_FORMAT(SYSDATE(), '%Y%m%d%H%M%S') as date
    FROM table_name
    

    其中,filename是存储文件名的字段名称,date是加上日期后缀的新字段。

    1. 在任务列表页面中,可以看到创建的任务。
    2023-10-10 22:25:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载