开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中maxcompute 从文件load数据 ,只能用oss的吗。我想从本地上传,?

DataWorks中maxcompute 从文件load数据 ,只能用oss的吗。我想从本地上传,maxcompute 从文件导入数据 ,只能用oss的吗。我想从本地上传image.png

展开
收起
真的很搞笑 2023-07-01 17:53:44 92 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中使用MaxCompute进行数据加载时,可以从本地上传数据。除了使用OSS外,还可以使用MaxCompute提供的Tunnel命令或者ODPS SDK来上传本地数据。

    以下是使用Tunnel命令上传本地数据的步骤:

    在本地计算机上安装MaxCompute Tunnel命令行工具。您可以通过MaxCompute控制台中的“工具下载”页面下载并安装MaxCompute Tunnel命令行工具。

    打开命令行终端,登录MaxCompute账号,并切换到需要上传数据的MaxCompute项目。

    执行以下命令上传数据:

    Copy
    tunnel upload <本地文件路径> -fd "<分隔符>" -h "<表头>" -c "<字符集>"
    其中,“<本地文件路径>”为需要上传的本地文件路径,“”为要上传数据的MaxCompute表名,“-fd”参数为数据文件的分隔符,“-h”参数为数据文件是否含有表头,“-c”参数为数据文件的字符集。例如,如果要上传一个以逗号分隔的含有表头的UTF-8编码的数据文件,可以执行以下命令:

    Copy
    tunnel upload /path/to/data.csv my_table -fd "," -h true -c "UTF-8"
    需要注意的是,如果要上传的数据文件过大,可以使用Tunnel命令的“-partSize”参数指定分块大小,以加快上传速度。

    通过以上方法,您可以使用MaxCompute Tunnel命令上传本地数据。需要注意的是,使用Tunnel命令上传数据时,需要确保数据文件格式和字符集与MaxCompute表的定义一致。同时,也可以使用ODPS SDK提

    2023-07-31 22:14:39
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载