DataWorksOSS数据源导入可以按规则匹配多个目录吗这里必须指定路径吗?可以用正则吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,OSS数据源导入确实需要指定具体的路径。但是,你可以通过通配符来匹配多个目录。例如,如果你想导入/data/logs/下的所有日志文件,你可以在路径栏输入/data/logs/。
至于是否可以使用正则表达式,目前DataWorks的OSS数据源导入功能并不支持正则表达式。你只能使用通配符来匹配路径。
如果你需要更复杂的匹配规则,可能需要考虑其他的解决方案,例如编写自定义的数据集成任务或使用DataWorks的脚本任务。
可以参考一下oss数据源说明 有对应的介绍哈 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。