开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请问用Tunnel服务需要注意什么?

已解决

请问用Tunnel服务需要注意什么?

展开
收起
felix@ 2023-01-30 20:43:53 495 0
5 条回答
写回答
取消 提交回答
  • 今天也要加油吖~
    采纳回答

    您好,如果您不配置Tunnel Endpoint,系统会自动路由到Endpoint所在网络对应的Tunnel Endpoint。例如Endpoint为外网就会路由到外网的Tunnel Endpoint;Endpoint为经典网络或VPC网络就会路由到经典网络或VPC网络的Tunnel Endpoint。若您已手动配置Tunnel Endpoint,则以手动配置为准,不进行自动路由。

    其次,不同地域、不同网络类型下的Tunnel服务计费规则不统一,详细计费规则,可以参照计费规则

    2023-01-30 21:01:15
    赞同 展开评论 打赏
  • 一名在读研究生程序猿,欢迎大家指教,我们共同进步!

    主要是在一些问题的处理方面多注意一下即可.

    MaxCompute Tunnel是什么? Tunnel是MaxCompute的数据通道,用户可以通过Tunnel向MaxCompute中上传或者下载数据。目前Tunnel仅支持表(不包括视图View)数据的上传下载。

    BlockId是否可以重复? 同一个UploadSession里的blockId不能重复。也就是说,对于同一个UploadSession,用一个blockId打开RecordWriter,写入一批数据后,调用close, 然后再commit完成后,写入成功后不可以重新再用该blockId打开另一个RecordWriter写入数据。 Block默认最多20000个,即0-19999。

    Block大小是否存在限制? 一个block大小上限 100GB,强烈建议大于64M的数据,每一个Block对应一个文件,小于64MB的文件统称为小文件,小文件过多将会影响使用性能。 使用新版BufferedWriter可以更简单的进行上传功能避免小文件等问题 Tunnel-SDK-BufferedWriter

    Session是否可以共享使用,存在生命周期吗? 每个Session在服务端的生命周期为24小时,创建后24小时内均可使用,也可以跨进程/线程共享使用,但是必须保证同一个BlockId没有重复使用,分布式上传可以按照如下步骤: 创建Session->数据量估算->分配Block(例如线程1使用0-100,线程2使用100-200)->准备数据->上传数据->Commit所有写入成功的Block。

    Session创建后不使用是否对系统有消耗? 每个Session在创建时会生成两个文件目录,如果大量创建而不使用,会导致临时目录增多,大量堆积时可能造成系统负担,请一定避免此类行为,尽量共享利用session。

    遇到Write/Read超时或IOException怎么处理? 上传数据时,Writer每写入8KB数据会触发一次网络动作,如果120秒内没有网络动作,服务端将主动关闭连接,届时Writer将不可用,请重新打开一个新的Writer写入。

    建议使用 [Tunnel-SDK-BufferedWriter]接口上传数据,该接口对用户屏蔽了blockId的细节,并且内部带有数据缓存区,会自动进行失败重试。

    2023-01-31 17:16:41
    赞同 展开评论 打赏
  • 一般来说需要注意以下几点:安全性 带宽限制 可用性 后端资源 日志记录 版本更新。。。。

    2023-01-31 14:04:02
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    关于使用Tunnel服务需要注意,在官方文档中对于各地域及不同网络连接方式下的Endpoint信息,以及与其他阿里云产品互访场景中的网络连通性及计费信息都有详细描述,文档地址:https://help.aliyun.com/document_detail/34951.html, image.png

    如果您不配置Tunnel Endpoint,系统会自动路由到Endpoint所在网络对应的Tunnel Endpoint。例如Endpoint为外网就会路由到外网的Tunnel Endpoint;Endpoint为经典网络或VPC网络就会路由到经典网络或VPC网络的Tunnel Endpoint。若您已手动配置Tunnel Endpoint,则以手动配置为准,不进行自动路由。
    不同地域、不同网络类型下的Tunnel服务计费规则不统一,详细计费规则,请参见计费规则。
    

    更多内容可以参考官方文档,文档地址上面已经贴出

    2023-01-31 10:23:14
    赞同 展开评论 打赏
  • 使用Tunnel服务时,您需要注意:
    - 如果您不配置Tunnel Endpoint,系统会自动路由到Endpoint所在网络对应的Tunnel Endpoint。例如Endpoint为外网就会路由到外网的Tunnel Endpoint;Endpoint为经典网络或VPC网络就会路由到经典网络或VPC网络的Tunnel Endpoint。若您已手动配置Tunnel Endpoint,则以手动配置为准,不进行自动路由。
    - 不同地域、不同网络类型下的Tunnel服务计费规则不统一,详细计费规则,请参见计费规则

    2023-01-30 21:37:41
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载