开发者社区> 海清> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

MaxCompute Studio使用心得系列1——本地数据上传下载

简介: 通过MaxCompute Studio工具界面,轻松完成tunnel命令能完成的本地数据导入导出工作。打破大数据开发套件中本地数据文件导入10M的限制,和打破下载只能下载查询结果最多10000行的限制。
+关注继续查看

MaxCompute Studio已经发布好久,一直没能好好体验,近期MaxCompute Studio 陆续推出很多好用的功能,今天开始给大家分享使用心得。

用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题:

  • ‘导入本地数据’功能,限制本地数据文件大小最大为10MB;
  • 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1W数据;
  • 数据导出本地文件的功能只有‘查询结果导出本地’。

要解决以上问题,通常都是需要自己安装console客户端,通过tunnel命令进行导入导出。

现在来分享使用MaxCompute Studio工具界面,可以更轻松完成tunnel命令能完成的本地数据导入导出工作。

MaxCompute Studio工具安装请参考文档安装 IntelliJ IDEA安装MaxCompute Studio.

本地数据导入

前提条件:表、分区已经存在,操作人有权限对表进行数据写入。

进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Import data into table

image

弹出的框里选择上传的本地数据文件路径、分区(非分区表无需填)、分隔符、行数限制、大小限制等:

注意:大小限制(Size Limit)不限于10MB。

image

点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导入成功日志中会给出写入成功的行数和写入失败的行数。如:

上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ].

数据导出本地

前提条件:操作人有权限对表进行数据导出。

进入MaxCompute Studio的Project Explorer窗口,展开Data Preview,鼠标对需要导入数据的表右键,选择 Export data from table

image

弹出框输入导出文件地址包括文件名文件类型(CSV或TXT)、选择需要下载的分区(非分区表直接下载整张表)、导出行数限制、大小限制等。

注意:行数不限于10000行,大小不限于10MB,可以下载整张非分区表或分区表的整个分区。

image

点击OK后可以看右下角进度条,最终成功与否会在Event Log里可查看相关日志。导出成功日志中会给出导出成功的行数和导出失败的行数。如:

上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].

结束语:MaxCompute Studio中上述的本地数据导入导出功能实际上就是采用 MaxCompute Tunnel 服务,功能与Tunnel命令一样。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云 MaxCompute 2021-10 月刊
2021年10月,MaxCompute集成观远数据(GuanData)BI工具(商业化)发布,MCQA(MaxCompute Query Acceleration)查询缓存机制商业化发布,外表支持Hbase增强版和云原生多模数据库 Lindorm。
849 0
阿里云 MaxCompute 2021-8 月刊
8月MaxCompute最新发布多项新功能,包括MaxCompute SQL 支持物化视图;流式数据通道服务功能商业化发布;SQL UPDATE、DELETE和MERGE INTO功能商业化发布;支持读取 OSS 上 Hudi、Delta Lake 格式文件;支持访问开启 Kerberos 认证授权机制的 Hadoop 集群。
904 0
阿里云 MaxCompute 2021-7 月刊
MaxCompute 7月刊将带您了解7月最新发布的项目删除、SQL性能优化推荐等功能以及7月、8月精彩直播课程,欢迎阅读。
1203 0
阿里云 MaxCompute 2021年4-6月刊合集
本次月刊合集包含 MaxCompute 近期功能发布及商业化动态,更推荐10篇技术及实践文章供产品用户阅读了解。
873 0
阿里云 MaxCompute 2021-3 月刊
2021年3月,MaxCompute管家等多项功能上新,快来一起看看吧。
1471 0
阿里云 MaxCompute 2021-2 月刊
2021年2月,MaxCompute发布云数仓内的机器学习 MaxCompute SQLML功能,以及MaxCompute湖仓一体OSS数据湖集成方案等15项新功能,欢迎阅读产品2月刊了解新发功能详情。
4775 0
阿里云 MaxCompute 2021-2 月刊
2021年2月,MaxCompute发布云数仓内的机器学习 MaxCompute SQLML功能,以及MaxCompute湖仓一体OSS数据湖集成方案等15项新功能,欢迎阅读产品2月刊了解新发功能详情。
2742 0
阿里云 MaxCompute 2021-1 月刊
2021年1月,SaaS模式云数据仓库MaxCompute存储单价由梯度定价统一下调整为月固定单价,中小规模企业数据仓库存储成本最高降四成。
3532 0
阿里云 MaxCompute 2021-1 月刊
2021年1月,SaaS模式云数据仓库MaxCompute存储单价由梯度定价统一下调整为月固定单价,中小规模企业数据仓库存储成本最高降四成。
4783 0
阿里云 MaxCompute 2020-12 月刊
2020年12月 MaxCompute 在查询加速、流式数据写入、消费限制、实时作业监控、元数据服务方面有最新发布,欢迎通过本月刊了解12月最新发布详情。
12739 0
+关注
海清
阿里云数加培训讲师, 最擅长MaxCompute、大数据开发套件。
35
文章
1
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载