基于边缘云的机器流量管理技术实战

简介: CDN是通过在全球范围内分布式地部署边缘服务器将各类互联网内容缓存到靠近用户的边缘服务器上,从而降低用户访问时延并大幅减少穿越互联网核心网的流量。互联网业务使用CDN已经成为一种必然的选择。

企业边缘应用面临的挑战

CDN是通过在全球范围内分布式地部署边缘服务器将各类互联网内容缓存到靠近用户的边缘服务器上,从而降低用户访问时延并大幅减少穿越互联网核心网的流量。互联网业务使用CDN已经成为一种必然的选择。传统网站防护基本上都是保护源站,客户购买防火墙、WAF等产品就可以保护自己核心业务的内容不被恶意窃取。但传统防护方式并不能完全满足业务流量通过CDN分发的场景:

  1. 部署位置在源站前,主要为了保护源站。在CDN架构中,页面基本都缓存在CDN上,爬虫可以直接从CDN上直接爬走用户敏感业务数据。
  2. 识别手段主要依靠在用户页面中嵌入JS,这种方式本质上修改了用户的页面,有很强的侵入性,并且只能适配web业务,针对api业务不生效。
  3. 处置手段一般通过频次控制,对高频的IP等特征进行限制,这种方式容易被绕过,现在爬虫基本都会采用IP代理池的方式,随机修改请求的header字端,这样很难找到特征进行频次控制。


CDN当前承接了主站大量业务,也必然要保证业务浏览和交易体验,防止内容不被恶意窃取。越来越多的业务数据缓存在CDN的边缘服务器上,边缘安全的权重越来越高。而基于边缘云的机器流量管理应运而生,应对CDN边缘安全隐患,实现用户应用数据安全保护。


边缘云的机器流量管理的实现及优势

基于CDN边缘节点的机器流量管理分析及处理流程如下图所示:

互联网访问一般分为用户正常,商业搜索引擎访问,恶意爬虫访问等,机器流量管理通过在边缘提取请求报文特征,基于报文特征识别请求类型,在边缘阻断恶意爬虫访问,保护CDN上缓存资源不被恶意爬取。

机器流量管理的优势如下:

  1. 基于CDN边缘网络架构实现机器流量管理能力,通过请求报文特征识别域名的请求类型,区分是正常的请求还是恶意的机器请求,帮助用户管理自己的请求,阻断恶意请求。
  2. 通过识别域名的请求类型,实时标记出请求的报文类型,非常直观的展示出当前的业务请求中的报文类型,客户可以直观的感知到自己的网站的访问类型分布情况,针对异常的报文类型进行处置。
  3. 通过处置报文类型而不是处置IP,只要恶意请求的报文类型不变,攻击者随机头部字段或者使用秒拨代理IP池都无法绕过。


机器流量管理实际结果验证

在双11业务场景,机器流量管理针对访问主站详情页的全部流量做识别,并对 Bot 流量进行细化分类。核心策略是放行搜索引擎等正规商业爬虫,限制或拦截恶意爬虫。

通过分析详情页的流量以及请求的行为特征,分析出近40%的请求都是恶意访问。在双11前,通过开启了处置策略,成功帮助主站某业务拦截了超过70%的爬虫流量。下图为开启处置前后的流量对比情况,蓝线为未开启处置策略是的流量趋势,绿线为开启处置策略后的流量趋势,拦截效果非常明显,并且不影响实际业务运行。

双11当日,基本上请求的访问特征没有变化,最终拦截数亿次恶意请求、上百万恶意IP及数千万恶意爬取商品ID

CDN机器流量管理承担更多主站业务的防护,并且发现部分爬取主站内容的请求可以透过防护策略,即爬取的请求行为发生了变化。通过对线上突增qps分析,定位出变异爬虫主要使用的是IE的浏览器引擎,源IP大量使用秒拨代理IP,具有明显的商业爬虫特征。经上报,快速形成了应急预案,快速对异常类型进行处置。

目录
相关文章
|
传感器 边缘计算 自动驾驶
边缘云计算技术的应用发展
边缘云计算技术的应用发展
101 0
|
2月前
|
边缘计算 物联网 5G
边缘计算与5G技术:提升未来通信性能的双剑合璧
边缘计算与5G技术:提升未来通信性能的双剑合璧
43 0
|
3月前
|
存储 边缘计算 安全
边缘计算与云计算的协同工作:技术解析与应用前景
【8月更文挑战第4天】边缘计算与云计算的协同工作是未来信息技术发展的重要趋势。通过合理地分配任务和资源,两者可以相互补充、发挥各自的优势,实现更高效的数据处理和分析。这种协同模式不仅提高了系统的性能和可靠性,还满足了复杂多变的应用需求,为人工智能、物联网等技术的发展提供了强有力的支持。
217 11
|
3月前
|
存储 边缘计算 安全
边缘计算设备的设计与部署技术探索
【8月更文挑战第1天】边缘计算设备的设计与部署是一个复杂而系统的工程,需要综合考虑多个方面的因素。通过制定全面的战略规划、选择合适的技术和设备、设计合理的网络架构、实施有效的安全策略以及定期管理维护等措施,可以确保边缘计算设备的稳定运行和高效应用。随着物联网和云计算技术的不断发展,边缘计算将在更多领域展现出其独特的优势和潜力。
61 10
|
3月前
|
传感器 边缘计算 安全
云计算的下一站:边缘计算的技术探索
【8月更文挑战第5天】随着科技发展,云计算支撑着数字化转型,但物联网设备激增和5G普及带来了新挑战。边缘计算作为一种分布式模式,将处理能力推向网络边缘,如路由器和传感器,实现了低延迟、高效带宽利用、增强安全性和灵活性。其应用场景包括智能制造、智慧城市、自动驾驶和智能家居等。尽管存在资源有限、安全和标准化等挑战,但通过虚拟化、加密技术和无服务器计算等方案,边缘计算正逐步克服这些问题。未来,边缘计算将更加智能化,并随着5G技术的推广,在更多领域发挥关键作用。
|
4月前
|
边缘计算 安全 物联网
边缘计算在物联网中的作用:技术深度解析
【7月更文挑战第28天】边缘计算在物联网中发挥着至关重要的作用。通过降低延迟、减少网络负载、提高隐私和安全性以及增强离线功能等优势,边缘计算为物联网带来了更加高效、智能和安全的解决方案。未来随着技术的不断进步和应用场景的拓展,边缘计算将在物联网领域发挥更加重要的作用
|
5月前
|
存储 边缘计算 物联网
随着数字化和物联网的快速发展,边缘计算正逐渐成为技术领域的热门话题
边缘计算将计算与存储推向网络边缘,提升响应速度和效率。包括边缘设备、边缘数据中心、边缘云和边缘服务器型计算,应用广泛,如智能家居、工业自动化、物联网和智能医疗。通过减少延迟、优化资源和保障数据安全,它正驱动数字化转型和智能化升级。随着技术发展,边缘计算前景广阔。
随着数字化和物联网的快速发展,边缘计算正逐渐成为技术领域的热门话题
|
5月前
|
边缘计算 Kubernetes 监控
概述边缘计算技术
【6月更文挑战第15天】边缘计算将计算能力从中心节点转移到网络边缘的设备,如家用路由器和传感器,以减少带宽消耗和提高实时处理。
|
6月前
|
存储 边缘计算 人工智能
边缘计算在AI时代的关键技术演进
【5月更文挑战第29天】随着人工智能技术的飞速发展,数据处理需求日益增长。边缘计算作为一种新兴的计算模式,将数据处理和存储从中心云转移到网络的边缘,更接近数据产生的源头。本文聚焦于边缘计算在AI领域的应用及其技术演进,探讨了其在提高响应速度、降低带宽成本及增强数据隐私方面的重要性。通过分析当前边缘计算的技术挑战与未来趋势,旨在为读者提供一个全面的理解框架。
|
边缘计算 持续交付 数据中心
Docker在边缘计算中的崭露头角:探索容器技术如何驱动边缘计算的新浪潮
边缘计算是一项快速发展的技术,它旨在将计算能力更接近数据源和终端用户,以提供低延迟、高性能的计算体验。在这个充满活力的领域,Docker容器技术崭露头角,成为推动边缘计算革新的一股新力量。本文将深入探讨Docker在边缘计算中的应用,介绍其优势和挑战,并穿插一些示例代码,以帮助读者更好地理解这一新兴趋势。 第一部分:边缘计算和Docker容器 边缘计算的定义 边缘计算是一种计算范式,它将计算资源和数据处理能力推向网络边缘,靠近数据源和终端用户。这与传统的集中式云计算模型形成鲜明对比,后者将大部分计算任务集中在中央数据中心。边缘计算的关键目标是减少数据传输的延迟,提高响应速度,以满足对实时性要
439 0
下一篇
无影云桌面