性能调优-公网上传调优

本文涉及的产品
对象存储 OSS,20GB 3个月
全站加速 DCDN,50GB 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文主要介绍公网场景下,客户如果加速 OSS文件上传下载,已经弱网情况的处理;

场景描述

OSS 公网上传分为两种,针对这两种场景分别描述

  • 跨境传输
  • 国内传输

跨境传输

由于网络因素导致,国外国内互传 OSS 文件时,受到国际出口链路的瓶颈影响,传输速度以及稳定性都是无法保证 100% 可用,尤其是在特殊节日例如重要政治会议时期可能更容易出现封堵,针对此类情况用户可以考虑如下种优化手段;

SDK 层面

1、客户可以用 SDK 的断点上传/下载 功能,对源文件进行切片传输,降低大文件的网络传输带宽、延迟开销;同时在网络带宽利用率不高的情况下可以增加分片的并发数量,提高带宽吞吐;

2、客户在跨境传输时,可以采用增加重试,适当调大超时时间兼容弱网、丢包等环境的影响;但超时时间不宜太长,这样会影响重试;

3、多线程上传时协程的效率会比较高,但是传输速率不一定高,协程是通过线程中断进行调度切换的,保证每个线程都可以上传但是切换过程中类似软中断一样都有影响传输速率;

网络层面

1、可以开通全地域上传加速功能,通过智能 DNS 择优链路访问 OSS。
image.png

2、使用 全站加速,开通 DCDN ,将加速类型设置为全球加速,然后将 DCDN 的原站设置为 OSS 域名。DCDN 会通过就近的边缘节点(靠近网民)接入客户的上下行请求,然后通过智能选路的方式,探测一条最短的回源路径回到原站 OSS,起到上下行的加速作用;

3、如果是 PC 端上传,保证本地的文件描述符、网络连接数不要被打满,避免出现 socket 连接等待引发超时;

4、 如果用户的场景是大量的 OSS 文件被下载,也可以使用 CDN 加速文件的下行链路,通过分布众多的 CDN 节点就近访问。

工具层面

用户如果不是擅长编码,最快的方式是通过阿里云的自动化工具进行上传、下载,如果是大量文件并发上传推荐使用 ossutil ,支持并发、分片、debug 等场景。

如果客户端不会使用命令行,也可以使用 ossbrower 工具,但是传输性能不如 ossutil 而且支持的文件大小是 5G;

如果用户上传 OSS 使用的 ECS 和 OSS 在同一个地区,建议用户使用内网的 endpoint 地址来上传文件到 OSS;

国内传输

SDK 层面

1、客户可以用 SDK 的断点上传/下载 功能,对源文件进行切片传输,降低大文件的网络传输带宽、延迟开销;同时在网络带宽利用率不高的情况下可以增加分片的并发数量,提高带宽吞吐;

2、客户在跨境传输时,可以采用增加重试,适当调大超时时间兼容弱网、丢包等环境的影响;但超时时间不宜太长,这样会影响重试;

3、多线程上传时协程的效率会比较高,但是传输速率不一定高,协程是通过线程中断进行调度切换的,保证每个线程都可以上传但是切换过程中类似软中断一样都有影响传输速率;

网络层面

1、可以开通全地域上传加速功能,通过智能 DNS 择优链路访问 OSS。
image.png

2、使用 全站加速,开通 DCDN ,将加速类型设置为全球加速,然后将 DCDN 的原站设置为 OSS 域名。DCDN 会通过就近的边缘节点(靠近网民)接入客户的上下行请求,然后通过智能选路的方式,探测一条最短的回源路径回到原站 OSS,起到上下行的加速作用;

3、如果是 PC 端上传,保证本地的文件描述符、网络连接数不要被打满,避免出现 socket 连接等待引发超时;

4、 如果用户的场景是大量的 OSS 文件被下载,也可以使用 CDN 加速文件的下行链路,通过分布众多的 CDN 节点就近访问。

工具层面

用户如果不是擅长编码,最快的方式是通过阿里云的自动化工具进行上传、下载,如果是大量文件并发上传推荐使用 ossutil ,支持并发、分片、debug 等场景。

如果客户端不会使用命令行,也可以使用 ossbrower 工具,但是传输性能不如 ossutil 而且支持的文件大小是 5G;

如果用户上传 OSS 使用的 ECS 和 OSS 在同一个地区,建议用户使用内网的 endpoint 地址来上传文件到 OSS;

相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
5月前
|
SQL 存储 监控
dts性能监控与调优
dts性能监控与调优
119 1
|
5月前
|
监控 数据可视化 Java
jvm性能调优实战 - 31从测试到上线_如何分析JVM运行状况及合理优化
jvm性能调优实战 - 31从测试到上线_如何分析JVM运行状况及合理优化
90 1
|
1月前
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
2月前
|
存储 监控 数据可视化
性能监控之JMeter分布式压测轻量日志解决方案
【8月更文挑战第11天】性能监控之JMeter分布式压测轻量日志解决方案
78 0
性能监控之JMeter分布式压测轻量日志解决方案
|
3月前
|
负载均衡 Linux
网络相关的调优
网络相关的调优
27 11
|
5月前
|
存储 监控 安全
服务器常见问题以及处理方案
服务器常见问题以及处理方案
|
5月前
|
Java 应用服务中间件 Linux
JVM调优总结(一)之参数配置说明与实例
JVM调优总结(一)之参数配置说明与实例
703 0
|
5月前
|
缓存 监控 Linux
服务器中常用的几个资源监控工具整理
【4月更文挑战第2天】服务器中常用的几个资源监控工具整理
605 13
|
5月前
|
负载均衡 监控 网络协议
网络相关的调优(三)
【4月更文挑战第6天】 网卡绑定(Bonding)**技术是将多块物理网卡虚拟成一个网卡,以提供**负载均衡**或**冗余**,增加网络连接的带宽和可靠性。当其中一块网卡出现故障时,网络连接不会中断,确保服务连续性。
62 7
|
5月前
|
存储 弹性计算 前端开发
ECS负载问题之前端包加载很慢如何解决
ECS(Elastic Compute Service,弹性计算服务)是云计算服务提供商提供的一种基础云服务,允许用户在云端获取和配置虚拟服务器。以下是ECS服务使用中的一些常见问题及其解答的合集: