OSS 公网上传调优有哪些?-问答-阿里云开发者社区-阿里云

开发者社区> 1358896759097293> 正文

OSS 公网上传调优有哪些?

2021-03-11 10:12:26 149 2

OSS 公网上传调优有哪些

取消 提交回答
全部回答(2)
  • 苍霞学子
    2021-03-14 22:23:04

    性能调优

    如果并发数调得太大,由于线程间资源切换及抢夺等,ossutil上传/下载/拷贝性能可能会下降,所以请根据实际的机器情况调整这两个选项的数值,如果要进行压测,可以一开始将两个数值调低,慢慢调大寻找最优值。

    如果--jobs选项和--parallel选项值太大,在机器资源有限的情况下,可能会因为网络传输太慢,产生EOF错误,这个时候请适当降低--jobs选项和--parallel选项值。

    如果文件数太多大小有不太平均,直接同时使用--jobs=3 --parallel=4进行设定(文件间并发为3,单文件内的并发为4),同时观察MEM, CPU,网络情况,若并未打满网络、占满CPU,则可以继续上调--jobs和--parallel。

    0 0
  • 1358896759097293
    2021-03-14 22:49:13

    OSS 公网上传分为两种,针对这两种场景分别描述。 ● 跨境传输 ● 国内传输 跨境传输 由于网络因素导致,国外国内互传 OSS 文件时,受到国际出口链路的瓶颈影 响,传输速度以及稳定性都是无法保证 100% 可用,尤其是在特殊节日例如重要政 治会议时期可能更容易出现封堵,针对此类情况用户可以考虑如下种优化手段。 SDK 层面 1. 客户可以用 SDK 的断点上传 / 下载 功能,对源文件进行切片传输,降低大 文件的网络传输带宽、延迟开销;同时在网络带宽利用率不高的情况下可以 增加分片的并发数量,提高带宽吞吐。 2. 客户在跨境传输时,可以采用增加重试,适当调大超时时间兼容弱网、丢包 等环境的影响;但超时时间不宜太长,这样会影响重试。 3. 多线程上传时协程的效率会比较高,但是传输速率不一定高,协程是通过线 程中断进行调度切换的,保证每个线程都可以上传但是切换过程中类似软中 断一样都有影响传输速率。 网络层面 1. 可以开通全地域上传加速功能,通过智能 DNS 择优链路访问 OSS。 2. 使用 全站加速,开通 DCDN,将加速类型设置为全球加速,然后将 DCDN 的原站设置为 OSS 域名。DCDN 会通过就近的边缘节点(靠近网民)接入 客户的上下行请求,然后通过智能选路的方式,探测一条最短的回源路径回 到原站 OSS,起到上下行的加速作用。 3. 如果是 PC 端上传,保证本地的文件描述符、网络连接数不要被打满,避免 出现 socket 连接等待引发超时。 4. 如果用户的场景是大量的 OSS 文件被下载,也可以使用 CDN 加速文件的 下行链路,通过分布众多的 CDN 节点就近访问。 工具层面 用户如果不是擅长编码,最快的方式是通过阿里云的自动化工具进行上传、下 载,如果是大量文件并发上传推荐使用 ossutil,支持并发、分片、debug 等场景。 如果客户端不会使用命令行,也可以使用 ossbrower 工具,但是传输性能不如 ossutil 而且支持的文件大小是 5G。 如果用户上传 OSS 使用的 ECS 和 OSS 在同一个地区,建议用户使用内网的 endpoint 地址来上传文件到 OSS。 国内传输 SDK 层面 1. 客户可以用 SDK 的断点上传 / 下载功能,对源文件进行切片传输,降低大 文件的网络传输带宽、延迟开销;同时在网络带宽利用率不高的情况下可以 增加分片的并发数量,提高带宽吞吐。 2. 客户在跨境传输时,可以采用增加重试,适当调大超时时间兼容弱网、丢包等 环境的影响;但超时时间不宜太长,这样会影响重试。 3. 多线程上传时协程的效率会比较高,但是传输速率不一定高,协程是通过线 程中断进行调度切换的,保证每个线程都可以上传但是切换过程中类似软中 断一样都有影响传输速率。 网络层面 1. 可以开通全地域上传加速功能,通过智能 DNS 择优链路访问 OSS。 2. 使用 全站加速,开通 DCDN,将加速类型设置为全球加速,然后将 DCDN 的原站设置为 OSS 域名。DCDN 会通过就近的边缘节点(靠近网民)接入 客户的上下行请求,然后通过智能选路的方式,探测一条最短的回源路径回 到原站 OSS,起到上下行的加速作用。 3. 如果是 PC 端上传,保证本地的文件描述符、网络连接数不要被打满,避免 出现 socket 连接等待引发超时; 4. 如果用户的场景是大量的 OSS 文件被下载,也可以使用 CDN 加速文件的 下行链路,通过分布众多的 CDN 节点就近访问。 工具层面 用户如果不是擅长编码,最快的方式是通过阿里云的自动化工具进行上传、下 载,如果是大量文件并发上传推荐使用 ossutil,支持并发、分片、debug 等场景。 如果客户端不会使用命令行,也可以使用 ossbrower 工具,但是传输性能不如 ossutil 而且支持的文件大小是 5G。 如果用户上传 OSS 使用的 ECS 和 OSS 在同一个地区,建议用户使用内网的 endpoint 地址来上传文件到 OSS。

    0 0
添加回答
相关问答

45

回答

★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步工具

ftp4oss 2013-08-30 19:47:43 88643浏览量 回答数 45

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292254浏览量 回答数 110

58

回答

OSS更新通信域名,老域名即将停止,请用户尽快变更新域名避免通信受阻

newegg11 2012-11-07 11:42:28 78055浏览量 回答数 58

51

回答

ossfs工具发布啦,让传统软件和云端存储完美融合

scorpion 2015-12-08 09:18:56 69708浏览量 回答数 51

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149334浏览量 回答数 82

88

回答

手把手教你搭建自己的OSS FTP 服务器

lei.zhuol 2012-05-16 14:48:33 89500浏览量 回答数 88

8

回答

全线HTTPS 阿里云OSS一键签发绑定免费SSL证书图文教程

51干警网 2018-08-16 13:44:36 84505浏览量 回答数 8

13

回答

【云服务器分享】如何节省网站流量

dreamdoo 2012-10-15 10:36:09 80107浏览量 回答数 13

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471329浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 203994浏览量 回答数 2
+关注
1358896759097293
45271990@qq.com
0
文章
2125
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载