开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

数据集成中,使用FTP数据源,原FTP的文件被ZIP压缩,且压缩文件中有多个待入仓数据文件时,FT

数据集成中,使用FTP数据源,原FTP的文件被ZIP压缩,且压缩文件中有多个待入仓数据文件时,FTP Reader怎么读取的?

展开
收起
爱喝咖啡嘿 2023-01-03 13:58:27 152 0
1 条回答
写回答
取消 提交回答
  • 如果你希望FTP Reader能够读取压缩文件中的多个数据文件,你需要在FTP Reader的配置中将“解压缩”选项设置为“是”。这样,FTP Reader就会自动解压缩文件并读取里面的所有数据文件。

    你还可以使用“过滤条件”配置项来指定FTP Reader读取哪些文件。例如,你可以使用正则表达式来匹配文件名,以确保FTP Reader只读取符合条件的文件。

    注意:如果你的压缩文件包含的是嵌套的文件夹,那么FTP Reader可能无法读取里面的文件。在这种情况下,你可以考虑使用其他工具(如7-Zip)先解压缩文件,然后再使用FTP Reader读取解压后的文件

    2023-01-07 23:28:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
集成智能接入网关APP:优化企业级移动办公网络 立即下载
《DataWorks 数据集成实时同步》 立即下载
云效助力企业集成安全到DevOps中 立即下载