DataWorks要写成文件,目前支持的数据源是不是就是FTP或者OSS了?ftp不支持文件大小切分吗
DataWorks支持多种方式写数据成文件:
FTP:通过FTP协议写文件到FTP服务器。支持普通FTP和SFTP。
支持文件的创建、修改、删除和文件大小切分。通常用于小文件实时写出。
OSS:通过阿里云OSS SDK写文件到OSS存储。
支持创建文件夹、上传文件、删除文件等操作。通常用于大文件实时或离线写出。
HDFS:通过HDFS客户端写文件到HDFS分布式文件系统。
支持文件大小切分,通常用于大文件离线写出。
本地文件系统:直接写文件到DataWorks本身的文件系统。
方便测试,但不适用于生产。
自定义:DataWorks支持自定义节点,可以调用任何第三方SDK写文件。
应该是这两种 可以看下 这是所有支持的数据源列表 https://help.aliyun.com/zh/dataworks/user-guide/supported-data-source-types-and-read-and-write-operations?spm=a2c4g.11186623.0.0.7b062c56tUnXVI,看文档没有size之类的参数 应该不支持,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。