开发者社区 问答 正文

MaxCompute用户指南:数据上传下载:批量数据通道SDK介绍:批量数据通道概要



MaxCompute Tunnel 是 MaxCompute 的数据通道,您可以通过 Tunnel 向 MaxCompute 中上传或者下载数据。目前 Tunnel 仅支持表(不包括视图 View)数据的上传和下载。
MaxCompute 提供的 数据上传和下载工具 即是基于Tunnel SDK 编写的。
如果您使用 Maven,可以从 Maven库 中搜索 odps-sdk-core 来获取不同版本的Java SDK,相关配置信息如下所示:  

  1. <dependency>
  2.     <groupId>com.aliyun.odps</groupId>
  3.     <artifactId>odps-sdk-core</artifactId>
  4.     <version>0.24.0-public</version>
  5. </dependency>

本文将为您介绍 Tunnel SDK 的主要接口,不同版本的 SDK 在使用上有所差别,准确信息以 SDK Java Doc 为准。
主要接口描述
TableTunnel访问 MaxCompute Tunnel 服务的入口类。您可以通过公网或者阿里云内网环境对 MaxCompute 及其 Tunnel进行访问。当您在阿里云内网环境中使用 Tunnel 内网连接下载数据时,MaxCompute不会将该操作产生的流量计入计费。此外内网地址仅对杭州域的云产品有效。
TableTunnel.UploadSession表示一个向 MaxCompute 表中上传数据的会话。
TableTunnel.DownloadSession表示一个向 MaxCompute 表中下载数据的会话。

注意:

展开
收起
行者武松 2017-10-23 15:29:41 2352 分享
分享
版权
举报
阿里云 AI 助理回答

MaxCompute Tunnel 是阿里云MaxCompute数据仓库服务中一个非常重要的组件,它允许用户高效、安全地上传大量数据到MaxCompute表中,或者从表中下载数据。您提到的Tunnel SDK就是用来简化这一过程的编程接口,支持通过编程方式实现数据的导入导出操作。

关键概念和接口说明:

  1. TableTunnel:这是使用Tunnel服务的入口类,提供了与MaxCompute表进行数据传输的基础方法。无论是上传还是下载数据,首先都需要通过这个类来建立与Tunnel服务的连接。

  2. UploadSession:代表了一个向MaxCompute表上传数据的会话。在实际应用中,您需要创建一个UploadSession实例,然后通过这个实例将本地文件或数据流上传至指定的表中。此过程支持断点续传,适合处理大数据量的上传任务。

  3. DownloadSession:与UploadSession相对应,表示一个从MaxCompute表中下载数据的会话。通过创建DownloadSession实例,您可以将表中的数据下载到本地文件系统。同样,该接口也支持断点续传功能,适用于大规模数据的下载需求。

使用指南:

  • Maven集成:如果您是Java开发者,并且项目基于Maven构建,可以通过添加对应的依赖(如您提供的示例)轻松集成MaxCompute SDK:

    <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-sdk-core</artifactId>
      <version>0.24.0-public</version>
    </dependency>
    

    版本号请根据实际需求选择最新的稳定版本。

  • 网络环境:注意区分公网和内网访问。在阿里云内部网络环境下使用Tunnel内网地址,可以避免因数据传输产生的额外费用,并可能获得更高的传输速度。

  • 文档与JavaDoc:对于更详细的API使用方法、参数配置以及最佳实践,建议直接参考SDK附带的JavaDoc文档,以及官方提供的数据通道服务连接等文档资源。

注意事项:

  • 在使用Tunnel上传或下载数据前,请确保您已正确配置了MaxCompute的访问密钥(AccessKey ID和AccessKey Secret),并拥有目标表的读写权限。
  • 考虑到性能和成本,合理安排数据上传和下载的时间,避免高峰时段操作,以优化成本和效率。
  • 对于超大文件的上传或下载,建议分批处理,利用Tunnel的高并发能力提升效率。

综上所述,MaxCompute Tunnel及其SDK为数据迁移和交互提供了强大的工具支持,通过灵活运用这些接口,可以有效管理云端大数据存储和分析流程。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等