URL过滤

简介: URL过滤

什么是URL过滤?

URL过滤是一种针对用户的URL请求进行上网控制的技术,通过允许或禁止用户访问某些网页资源,达到规范上网行为和降低安全风险的目的。

URL过滤可以基于URL分类、特定URL等多种方式限制URL访问。

URL过滤的主要作用如下:

1、限制访问业务无关网站,提升企业工作效率、减少带宽滥用。

2、限制访问非法或包含不健康内容的网站,使上网行为合法合规。

3、限制访问包含恶意软件以及钓鱼类不安全网站,避免网络遭受攻击。

以下是一个完整的URL格式

URL ——资源定位符
URI  ——统一资源标识符


URL过滤的方法

黑白名单机制:

  • 如果匹配白名单,则允许该URL请求
  • 如果匹配黑名单,则将拒绝URL请求白名单的优先级高于黑名单


预定义的URL分类

       预定义URL分类是URL过滤功能提供商整理好的URL分类信息,并且定期更新。海量的URL预先划分好归类,例如博彩类、钓鱼类、购物类等等。

       预定义URL分类中包含的URL条目数量巨大,逐条查找会影响效率,一般采取“两步走”的方式。第一步,将常用URL及对应的URL分类信息存储到设备本地(本地缓存查询),先在这些URL中进行查询;如果没有查询到,再进行第二步,远程查询云端的URL分类服务器中的分类信息,URL分类服务器中的信息更全面。

       另外本地存储的URL信息是不断学习更新的,不经常访问的URL被老化,并且从URL分类服务器中获取的查询结果也将添加到本地。这种机制减少远程查询,加快URL过滤处理速度。


自定义的URL分类

自定义的优先级高于预定义的优先级的。如果远程分类服务查询也没有对应分类,则将其归类为“其他”,则按照其他的处理逻辑

具体的URL过滤流程如下:


URL过滤 与 DNS过滤


       URL过滤和DNS过滤都属于Web过滤,但是控制粒度和实现方式不同。URL过滤是通过提取用户URL请求中URL信息进行过滤,可以控制到网页级别;而DNS过滤是通过提取用户DNS请求中域名信息进行过滤,只能控制到整个域名级别。两者各有应用场景。

       例如企业需要禁止员工访问域名为example.news.com的整个网站,就可以选择DNS过滤。但是如果只是想禁止此域名的娱乐版块example.news.com/entertainment,那么就需要使用URL过滤。再例如,企业识别到一个经常引诱员工访问的恶意网址example.malicious.com/index,此时建议使用DNS过滤禁止example.malicious.com域名,因为所有网页可能都是不安全的。

       可能有人会问,URL过滤也可以按域名禁止,但是DNS过滤在早于URL请求阶段的DNS查询阶段进行控制,对设备的性能影响小。另外DNS过滤与业务协议无关,而URL过滤局限在HTTP/HTTPS协议。


URL过滤 与 应用控制

       应用控制功能通过应用识别技术识别流量中的各类应用,从而对流量进行精细化的管控。这里的应用也包含一些Web类应用,例如Facebook应用就承载在www.facebook.com网站。

       对于Web应用,应用控制是从访问网页的流量中识别应用然后进行控制,URL过滤是从网页所属的URL来控制。也就是应用控制针对的是应用程序,可能多个网页对应同一个应用程序;URL过滤针对的是页面级访问行为。

       应用控制更适合细颗粒度控制应用程序。针对Facebook这类网站,大家往往更熟悉Facebook浏览、Facebook视频、Facebook游戏等应用的名称,如果收集应用对应的URL可能比较困难,往往可能一个应用对应多个URL。此时应用控制更方便些,只需要基于Facebook视频、Facebook游戏等应用名字进行配置。URL过滤更擅长控制用户访问某类网站,或者同一域名下的一批网址。例如,控制用户只能访问Facebook社交网站,不能访问其他社交网站,通过URL过滤更方便。如果使用应用控制,需要配置网站对应的全部应用。因此应用控制和URL过滤两者各有应用场景,相辅相成。


URL过滤不足以防御所有Web攻击

       URL过滤主要通过阻止对已知恶意软件和钓鱼网站的访问,来减少Web攻击事件。但是URL过滤不足以防御所有Web攻击,企业或组织需要考虑完整的Web安全解决方案防御已知和未知威胁。多种安全功能协同工作才能有效防御Web攻击,常用的部署方案如下:

  • 部署集成多种安全功能的下一代防火墙,启用内容过滤功能检测网页内容;启用文件过滤功能控制文件上传下载;启用IPS功能检测木马、恶意软件等攻击;启用反病毒功能检测文件病毒。
  • 与云端协同,实时掌握最新威胁信息,防御未知威胁。华为防火墙可以与云沙盒联动检测高级APT(Advanced Persistent Threat)攻击,检测结果反向刷新防火墙本地的恶意URL或恶意文件列表,提升后续检测效率。
  • 配合SSL加密流量检测功能,对加密HTTPS流量进行检测。
  • 内网终端安装防病毒等安全软件。


相关文章
|
人工智能 自然语言处理 安全
面向AIGC的内容风控新技术
【1月更文挑战第19天】面向AIGC的内容风控新技术
575 1
面向AIGC的内容风控新技术
|
7月前
|
JavaScript 小程序 数据管理
ClkLog集成指南
为了让大家能更顺利地完成ClkLog的各项数据集成,我们总结了几项常见问题并做了详细的说明。 包括有:会话、浏览页面事件、用户集成、自定义事件等。
151 12
ClkLog集成指南
|
8月前
|
存储 大数据 数据管理
大数据垂直分区(Vertical Partitioning)
【11月更文挑战第1天】
163 1
|
11月前
|
人工智能 API PHP
快速接入通义千问
快速接入通义千问
569 2
|
11月前
|
存储 安全 物联网
物联网(IoT)安全:挑战与解决方案
【8月更文挑战第5天】物联网(IoT)深刻改变着我们的生活,但随之而来的安全挑战不容忽视。面对设备身份验证复杂、数据隐私泄露、软件漏洞及资源受限等问题,本文提出加强身份验证、加密保护、定期更新、安全开发生命周期、多层次防御、安全培训及标准化合作等解决方案,旨在构建一个更加安全可靠的物联网环境。
|
Python
|
机器学习/深度学习 人工智能 自然语言处理
注意力机制详解(一)
注意力机制是受人类认知过程启发的一种深度学习技术,它允许模型动态地聚焦于输入的不同部分,根据上下文分配“注意力”。这种机制最早在序列到序列模型中提出,解决了长距离依赖问题,增强了模型理解和处理复杂数据的能力。基本的注意力计算涉及查询(Q)、键(K)和值(V),通过不同方式(如点积、拼接等)计算相关性并应用softmax归一化,得到注意力权重,最后加权组合值向量得到输出。自注意力是注意力机制的一种形式,其中Q、K和V通常是相同的。在自然语言处理(NLP)中,注意力机制广泛应用在Transformer和预训练模型如BERT中,显著提升了模型的表现。
|
XML 数据可视化 程序员
Qt 中的项目文件解析和命名规范
Qt 中的项目文件解析和命名规范
|
运维 Shell 网络安全
【运维知识进阶篇】iptables防火墙详解(iptables执行过程+表与链概述+iptables命令参数+配置filter表规则+NAT表实现共享上网、端口转发、IP映射)(三)
【运维知识进阶篇】iptables防火墙详解(iptables执行过程+表与链概述+iptables命令参数+配置filter表规则+NAT表实现共享上网、端口转发、IP映射)(三)
2523 0
|
域名解析 人工智能 网络协议
首个《“DNS+”发展白皮书(2023)》重磅发布
首个《“DNS+”发展白皮书(2023)》重磅发布