CDN回源带宽突增

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 如果CDN上没有配置开启range回源,因此虽然客户端请求的时候带了range,但是CDN回源请求源站的时候是不带range的,CDN是向源站请求完整的数据然后返回给客户端。

问题描述

CDN控制台显示05-24日CDN回源带宽突增,同时访问有异常,有很多5xx错误。

排查过程

1. 监控查询

控制台查看监控信息,发现一周内同比对比,访问带宽并没有突增,跟周围几天的业务量保持一致,说明业务侧并没有明显的上量,但是回源带宽在异常时间确实有一个突增,而且命中率突降。

2. 日志查询

下载对应时间段CDN的日志,发现有大量的httpcode为206的range日志,请求的是zip后缀的大文件。分析日志查询前10的clientip,例如top1的clientIP在1小时日志里有上万条请求,都是range请求zip。

cat log_file | awk '{print $3}' |sort|uniq -c|sort -nr |head -10

3. 查询配置

查询range配置,发现CDN上并没有开启range回源。同时直接range请求源站,发现源站并不支持range请求。由此问题基本明确是range原因产生。

问题原因

在5.24日上午的时候,07:00~11:00期间,有一些客户端在请求一些大文件,比如类似日志里分析的zip。由于文件比较大,客户端发的是range请求,range的形式分片去请求。而这个文件由于在CDN上没有缓存,因此CDN需要去回源。另外由于CDN上没有配置开启range回源,因此虽然客户端请求的时候带了range,但是CDN回源请求源站的时候是不带range的,CDN是向源站请求完整的数据然后返回给客户端。但是由于客户端拿完他该拿的数据部分(range的部分)就断开了,客户端的断开导致CDN跟源站的连接也断开了,这种情况下这个文件并没有缓存到CDN上。然后客户端继续发range请求,CDN继续做同样的动作,因为一直缓存不住,而客户端又一直在range请求,CDN就会一直回源,造成回源带宽增加,源站的压力增大,产生了一些504。

解决方案

这种情况建议CDN上开启range回源,这样CDN也会range的形式请求源站,并且把range到的部分缓存到CDN上,不过前提是需要源站支持range请求。不过现在直接测试源站,发range请求,源站返回的是完整部分,因此源站不支持range请求,这样即使CDN range回源也达不到效果,因此需要源站开启range功能,然后CDN开启range回源来优化这个场景。

适用产品

  • CDN
  • 全站加速
相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
15天前
|
JSON API 数据格式
阿里云国际版CDN查询实时带宽步骤
阿里云国际版CDN查询实时带宽步骤
|
存储 SQL JSON
使用SLS统计分析三方CDN回源OSS月95带宽实践
本文介绍通过使用阿里云日志服务SLS,对存储在SLS中的三方CDN回源阿里云OSS的监控日志数据,进行自定义查询分析之后得到按照不同运营商、不同业务类型(CND)纬度下,回源OSS的带宽月95量级数据,用于业务统计分析。
469 0
|
存储 域名解析 缓存
计网 - 内容分发网络 : CDN 回源的工作机制初探
计网 - 内容分发网络 : CDN 回源的工作机制初探
388 0
|
CDN
CDN配置回源host及自定义404
CDN配置回源host及自定义404自制脑图
181 0
CDN配置回源host及自定义404
|
CDN
CDN的页面优化、GZIP和range回源
CDN的页面优化、GZIP和range回源自制脑图
95 0
CDN的页面优化、GZIP和range回源
|
存储 运维 前端开发
带宽、流量、CDN
带宽、流量、CDN
666 0
|
弹性计算 搜索推荐 Serverless
CDN回源函数
CDN回源函数自制脑图, CDN回源函数计算的功能目的在帮助CDN客户能通过函数计算快速处理和便捷处理回源数据为目的的一个功能,用户仅仅需要在CDN回源地址填写函数计算的自定义域名即可把请求转发到函数计算进行处理,配置简单,费用低廉,极大提高用户体验。
154 0
CDN回源函数
|
Web App开发 缓存 边缘计算
秒懂边缘云 | CDN基础入门:访问控制及带宽阈值
在通过CDN对外提供服务时,为了保障资源的安全性,我们建议对请求进行访问权限控制,避免被恶意用户请求,提升业务在CDN上的安全性。
2332 1
|
数据安全/隐私保护 开发者 CDN
CDN 的页面优化、GZIP 和 range 回源| 学习笔记
快速学习 CDN 的页面优化、GZIP 和 range 回源。
363 0
CDN 的页面优化、GZIP 和 range 回源| 学习笔记
|
域名解析 对象存储 开发者
CDN 配置回源 host 及自定义 404| 学习笔记
快速学习CDN 配置回源 host 及自定义 404。
602 0