网络安全视角:从地域到账号的阿里云日志审计实践

简介: 网络安全视角:从地域到账号的阿里云日志审计实践


为什么要进行日志审计?

Cloud Native


日志集中审计分析是现代信息安全管理中的关键组成部分,将来自不同地域、不同账号甚至不同云产品来源的日志数据进行集中化处理和分析,能够打破“信息孤岛”,更好地检测和响应安全威胁,实现更全方面、深层次的安全洞察。


法律强制规定

除此之外,企业或组织主动进行日志审计、服务厂商按照相关标准提供日志分析产品也是法律的强制性要求。例如《网络安全法》[1]第二十一条第三小节中明确规定“采取监测、记录网络运行状态、网络安全事件的技术措施,并按照规定留存相关的网络日志不少于六个月”。《网络安全法》第二十三条还要求,“网络关键设备和网络安全专用产品应当按照相关国家标准的强制性要求,由具备资格的机构安全认证合格或者安全检测符合要求后,方可销售或者提供”。2023 年 7 月 3 日,国家互联网信息办公室会同工业和信息化部、公安部、国家认证认可监督管理委员会等部门更新了《网络关键设备和网络安全专用产品目录》[2],已经将日志分析产品列入网络安全专用产品目录。





如何选择日志服务产品?

Cloud Native


阿里云 SLS 获取网络安全专用产品认证

网安法规不断完善

随着计算机信息安全的不断发展和网络安全法律法规的持续完善,网络安全专用产品认证制度已经取代了计算机信息安全销售许可证制度,日志分析产品也纳入了网络安全专用产品的范畴,其市场准入也接受网络安全法及相关技术标准的强制性监督。





网安认证检索

阿里云简单日志服务[3](SLS),经由《信息安全 技术网络安全专用产品安全技术要求》[4](GB 42250-2022)及与之相配套的、针对日志分析产品类别的国家标准《信息安全 技术日志分析产品安全技术要求》[5](GA/T 911-2019)标准认证和检测,可为用户提供中心化的日志存储及分析能力。SLS 下日志审计应用[6],提供跨地域、跨账号下日志多中心存储审计功能,可以更高效、合规地满足用户日志采集和分析需求。下图为 SLS 在网络关键设备和网络安全专用产品安全认证和安全检测结果检索[7]平台获取的检索结果。



日志审计能够解决的客户问题和带来的业务收益

  • 可拓展性:能够自动化实现多种主流云产品日志的跨账户、跨区域的自动化采集,自动拓展新增账号和新增实例。
  • 操作效率:通过简单页面配置或几行 API 代码,减少了调试时间和错误率,提高了部署速度。
  • 高可见性:通过单一日志审计管理界面,查看部署的采集规则,提供了对日志采集的全面可见性,便于团队之间、跨团队协作。
  • 可维护性:降低了用户侧维护自定义工具的负担,使团队能够更专注于核心业务,避免繁琐的维护工作。

接下来,我们将开启全新的日志审计之旅,探索如何基于日志审计进行中心化日志管理及安全洞察。


日志审计概览

Cloud Native


工作原理

日志采集与发现基于采集规则[8]展开。首先,用户在采集规则中指定需要采集的云产品名称和日志类型,然后审计服务基于资源匹配模式自动发现需要采集的实例,将日志采集到默认的日志库中,最后按照用户的中心化配置和多账号配置进行数据加工汇总。详细工作原理请参见文档[9]





功能详情

日志审计(新版)[10]基于阿里云简单日志服务[11]平台,除了日志查询、分析、存储、加工、投递、消费、告警、可视化等能力外,还支持以下功能:

  • 云产品覆盖范围:覆盖阿里云多种主流云产品及其日志类型接入,例如 OSS、VPC、CLB、RDS、WAF 等。
  • 日志自动化采集:支持自动化采集用户云产品日志,包括日志的自动化写入和包括日志采集范围的自动化适配。
  • 采集规则可编排:支持三种资源选择模式对云产品资源范围进行采集设定:全部资源、实例模式过滤资源、属性模式过滤资源。
  • 数据跨区域汇总:通过数据加工[12]功能实现日志数据的跨地域汇总,从而实现日志集中化统计分析。
  • 支持多日志中心:日志只需接入一次,即可根据规则配置,通过数据加工汇总到多个日志库目标。
  • 支持资源目录[13]多账号功能:管理员或委派管理员可以通过配置多账号采集,将成员账号的所有日志汇总到管理员或委派管理员下。


VPC 流日志最佳实践

Cloud Native

假设我们是一个全球电商团队,我们的多组业务横跨全球多个地域,例如国内如北京、上海等地域,国外如新加坡、马来西亚等地域皆部署相应的业务。这些业务的工作负载部署在对应地域下各个专属的 VPC 中。下面我们将以一个运维人员的身份视角,亲自上手日志审计下 VPC 流日志的采集和应用


VPC 流日志能够记录进出虚拟私有云(VPC)的网络流量,采集 VPC 流日志:

  • 一方面,可以帮助用户了解内网的使用情况,帮助优化网络架构和提高性能,识别流量瓶颈、过度使用的资源或不必要的流量。
  • 另一方面,通过详细的流量记录,网络管理员可以快速定位和解决问题,及时发现和响应入侵行为或潜在的安全威胁
  • 最后,采集、存储 VPC 流日志也是国内外许多法律法规(例如网络安全法、GDPR、PCI-DSS 等)的强制要求。

下面我们将以 VPC 流日志[14]的采集和汇总为例,介绍如何基于日志审计(新版),进行快捷、高阶的 VPC 流日志采集和功能管理。


日志接入

VPC 流日志多中心汇总

需求详情

  • 自动管理要求:自动化开启满足相关条件的 VPC 实例的流日志,当 VPC 新增或条件变化时,自动适应。
  • 跨境合规要求:需要将国内的 VPC 流日志采集到上海中心,将国外的 VPC 流日志采集到新加坡中心(跨界合规)。
  • 成本优化要求:出于节省成本的考量,需要仅开启生产业务的 VPC 流日志,测试环境业务无需开启。





操作步骤

  • 指定日志类型:本规则采集日志类型为 VPC 流日志。
  • 限定采集对象:我们将分别创建两个规则,一个规则负责采集国内地域的 VPC 实例,如杭州、上海等,另一个规则负责采集国外地域的 VPC 实例,如新加坡等。同时我们通过属性模式[15]资源标签的方式限定采集对象为生产环境(env:production)的 VPC。
  • 配置中心化目标:按照需求,需要将国内日志采集到上海中心,将国外日志采集到新加坡中心,在对应的规则中分别配置中心化目标即可。





补充说明:除了属性模式(支持按照地域和标签进行过滤)外,日志审计还支持全选模式(即采集账号下全部云产品实例)以及实例模式(用户枚举需要采集的实例),灵活控制云产品日志采集。


VPC 流日志跨账号监控

在一个大型公司中,不同部门或项目可能需要不同账号分别进行资源和权限管理。

  • 通过多个账号,可以更好地隔离资源,确保不同团队之间不相互干扰,并且根据需要进行精细的权限管理,防止未经授权的访问。
  • 不同的账号可以用来分割和跟踪成本。这样,每个部门或项目可以清楚地了解他们使用了多少云资源,并管理和控制各自的预算。


需求详情

在前文跨地域日志多中心汇总的前提下,安全团队对我们提出了更高阶的日志采集需求:

  • RD 跨账号汇总需求:安全团队基于 RD 资源目录[16]进行多级账号和资源关系管理,需要将不同团队的日志自动化采集到统一的目标库中。
  • 账号粒度筛选需求:具备对账号的筛选能力,例如仅采集线上业务相关的账号下的 VPC 流日志,无需采集不相干业务团队下的 VPC 流日志。





操作步骤

在日志审计应用中,因为日志审计已经完成了 RD 资源目录下可信服务[17]的打通,只需简化为一个多账号配置[18],开启采集规则下的多账号配置,只需要选择采集的日志账号,点击确定即可将选中账号下的 VPC 流日志采集到相应日志库中。





补充说明:除了支持自定义选择需要采集的账号之外,日志审计还支持采集全部成员账号下的指定云产品日志,如果资源目录下有账号新增或变更,将会自动进行相应的规则创建或更改,从而完成组织账号体系下的日志采集与采集规则的自适应。


网络安全洞察

用户可以直接在日志审计界面查看 VPC 的流量统计或策略统计信息,也可以自定义查询分析制作专属报表。


内置统计

日志审计内置一些基本统计分析报表,用户可以通过这些报表获取基本的 VPC 使用详情。

流量概览





策略概览





自定义分析

用户也可以针对具体的业务场景和挖掘需求,自定义统计分析 VPC 流日志,下面是几个自定义分析的示例。


流入流量来源统计

例如,可以通过流入流量的源和目标地址分布,对 VPC 内部的流量流向获取大致了解,从而可以进一步帮助我们分析哪些业务资源对带宽的占用较多,从而优化资源配置。


(log-status : OK and version : 1)  and direction: 'in' | select concat('src: ', srcaddr) as src, concat('dst: ' , dstaddr) as dst, sum(bytes) as total_bytes group by src, dst order by total_bytes desc limit 10



流量来源地理分布

例如,当检测到大量流量流向与正常业务活动无关的国家时,可能表明有未授权的数据传输。通过流量流向的地理分布分析,可以帮助我们确定潜在的威胁源或目标。


(log-status : OK and version : 1 and action: Accept) and direction: "out" | select ip_to_country(srcaddr) as country, count(*) as accept_actions where ip_to_country(srcaddr)!='保留地址' group by country order by accept_actions desc limit 20






流量异常变化趋势

例如,正常业务的流量在相对的时间范围内,往往具有固定的波动模式,假设我们发现某些业务流量突然发生了异常增高,或者某些相似特征的连接请求激增,则有可能表示该 VPC 下的机器或业务遭受了 DDoS 攻击,通过及时发现流量异常,可以帮助我们及时应对潜在威胁,避免网络安全损失。


(log-status : OK and version : 1 and action: ACCEPT) and direction: "in" and dstaddr: "172.16.0.8" | select __time__ - __time__ % 300 as t, srcaddr as ip_addr, count(bytes) as flows where ip_to_domain(srcaddr)='internet' group by t, ip_addr order by t,flows limit 1000000



告警响应

非预期的端口扫描


下面是一个短时间内来自未经授权的 IP 地址大量请求目标 IP 的多个端口的告警例子,例如 5 分钟内快速地请求 50 个以上不同的目标端口(如 22、23、80、443、3389 等)以识别开放的服务,这些请求在短时间内集中发生,可能表明自动化扫描工具的使用,暗示攻击者可能试图发现网络中的开放端口,寻找潜在的攻击向量,因此我们构建端口扫描威胁告警,可以配置如下告警查询语句。


1
(log-status : OK and version : 1) and direction: "in"|select * from (select dstaddr,srcaddr, count(dstport) as dst_port_nums from log where (srcaddr not like '100.127.%' and srcaddr not like '100.100.2.%')  group by  dstaddr,srcaddr  order by dst_port_nums desc) where dst_port_nums >50  limit 10


当查询结果有数据时,即触发告警。





流量异常波动告警

正常业务的流量在相对的时间范围内,往往具有固定的波动模式,每一个异常的流量波动背后可能隐喻着存在的潜在的威胁事件,下面是一个具体的 VPC 流量异常告警案例,其具体统计为:如果当前 5 分钟 VPC 入流量,高于 7 天前 5 分钟日志流量的最高值的 1.25 倍,或低于 7 天前 5 分钟日志流量的最低值的 0.75 倍,则发出告警。那么可以配置如下查询语句:


(log-status : OK and version : 1) and direction: "in" | WITH
latest_5_min AS (
SELECT
count(bytes) AS latest_sum
FROM       
log
WHERE     
__time__ > to_unixtime(current_timestamp) - 300 and __time__ < to_unixtime(current_timestamp)
),
previous_time_buckets AS (
SELECT
count(bytes) AS cnt,      
__time__ - __time__ % 300 AS t
FROM    
log
WHERE  
__time__ < to_unixtime(current_timestamp) - 300 and __time__ > to_unixtime(current_timestamp) - 7 * 24 * 3600    
GROUP BY    
t
),
agg_previous_5_min AS (
SELECT     
max(cnt) * 1.25 AS max_previous_threshold,   
min(cnt) * 0.75 AS min_previous_threshold
FROM   
previous_time_buckets
)
SELECT  
latest_sum,  
max_previous_threshold,  
min_previous_threshold
FROM  
latest_5_min,   
agg_previous_5_min


其中告警触发条件[19]为 latest_sum > max_previous_threshold || latest_sum < min_previous_threshold,然后配置具体的告警通知策略[20]即可及时将流量异常通知到对应负责人中。





总结

Cloud Native


日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。


相关链接:

[1] 《网络安全法》

https://www.gov.cn/xinwen/2016-11/07/content_5129723.htm

[2] 《网络关键设备和网络安全专用产品目录》

https://www.cac.gov.cn/cms/pub/interact/downloadfile.jsp?filepath=ekdHFflbXTKqZLE43DV~bQPSxqDGVU2OsnYJ/ekB55xykeU~Hq7U5F6MkeYHikg6zJOhW2Nj6ZRZUVXUlkDEyTEjTcORl73kmCTdYOvdSjs=&fText=网络关键设备和网络安全专用产品目录

[3] 阿里云简单日志服务

https://help.aliyun.com/zh/sls/overview?spm=a2c6h.12873639.article-detail.7.6a9e66c5Z22CwK

[4] 《信息安全 技术网络安全专用产品安全技术要求》

https://std.samr.gov.cn/gb/search/gbDetailed?id=F113142E3FCC4B65E05397BE0A0A5AB9

[5] 《信息安全 技术日志分析产品安全技术要求》

https://std.samr.gov.cn/hb/search/stdHBDetailed?id=998D49D25F7CA624E05397BE0A0AC94D

[6] SLS 下日志审计应用

https://help.aliyun.com/zh/sls/user-guide/new-log-audit-service/?spm=a2c6h.12873639.article-detail.10.6a9e66c5Z22CwK

[7] 网络关键设备和网络安全专用产品安全认证和安全检测结果检索

https://www.cac.gov.cn/wa/netWorkCriticalEquipment.htm

[8] 采集规则

https://help.aliyun.com/zh/sls/user-guide/manage-new-log-audit-rules?spm=a2c6h.12873639.article-detail.12.6a9e66c5Z22CwK#cc632a5e04p8c

[9] 文档

https://help.aliyun.com/zh/sls/user-guide/new-log-audit-service/?spm=a2c6h.12873639.article-detail.13.6a9e66c5Z22CwK#acd9bfcd2fw7j

[10] 日志审计(新版)

https://help.aliyun.com/zh/sls/user-guide/new-log-audit-service/?spm=a2c6h.12873639.article-detail.14.6a9e66c5Z22CwK

[11] 阿里云简单日志服务

https://help.aliyun.com/zh/sls/product-overview/what-is-log-service?spm=a2c6h.12873639.article-detail.15.6a9e66c5Z22CwK

[12] 数据加工

https://help.aliyun.com/zh/sls/user-guide/data-transformation-overview?spm=a2c6h.12873639.article-detail.16.6a9e66c5Z22CwK

[13] 资源目录

https://help.aliyun.com/zh/resource-management/resource-directory/product-overview/resource-directory-overview?spm=a2c6h.12873639.article-detail.18.6a9e66c5Z22CwK

[14] VPC 流日志

https://help.aliyun.com/zh/vpc/user-guide/flowlog-overview/

[15] 属性模式

https://help.aliyun.com/zh/sls/user-guide/manage-new-log-audit-rules?spm=a2c6h.12873639.article-detail.21.6a9e66c5Z22CwK&scm=20140722.H_2835059._.OR_help-T_cn~zh-V_1#cc632a5e04p8c

[16] RD 资源目录

https://help.aliyun.com/zh/resource-management/resource-directory/product-overview/resource-directory-overview

[17] 可信服务

https://help.aliyun.com/zh/resource-management/resource-directory/user-guide/overview-1

[18] 多账号配置

https://help.aliyun.com/zh/sls/user-guide/manage-new-log-audit-rules?spm=a2c6h.12873639.article-detail.24.6a9e66c5Z22CwK&scm=20140722.H_2835059._.OR_help-T_cn~zh-V_1#9a704c4ab0oae

[19] 触发条件

https://help.aliyun.com/zh/sls/videos/trigger-conditions

[20] 通知策略

https://help.aliyun.com/zh/sls/user-guide/notification-management/

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
6月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1662 92
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
1572 21
|
8月前
高性能网络库设计之日志组件
高性能网络库设计之日志组件
239 2
|
8月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
10月前
|
存储 运维 监控
为什么网络日志如此重要?
日志审计是网络安全的重要组成部分,通过分析网络日志,可快速定位故障、解决危机并提升系统安全性。网络日志记录了文件访问、用户登录等详细信息,甚至受某些法规约束需包含额外数据。日志审计无法被绕过,其在检测安全漏洞、法律取证和员工行为监控中作用显著。推荐一款工具EventLogAnalyzer,具备日志采集、分类存储、事件报警等功能,满足企业需求。购买时需注意品牌、功能及试用期,以选择最适合的产品。
420 11
|
9月前
|
数据采集 人工智能 运维
甭再盯死日志了,AI已经悄悄替你盯着网络流量了
甭再盯死日志了,AI已经悄悄替你盯着网络流量了
418 0
|
10月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
1434 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
9月前
|
监控 安全 Linux
AWK在网络安全中的高效应用:从日志分析到威胁狩猎
本文深入探讨AWK在网络安全中的高效应用,涵盖日志分析、威胁狩猎及应急响应等场景。通过实战技巧,助力安全工程师将日志分析效率提升3倍以上,构建轻量级监控方案。文章详解AWK核心语法与网络安全专用技巧,如时间范围分析、多条件过滤和数据脱敏,并提供性能优化与工具集成方案。掌握AWK,让安全工作事半功倍!
328 0
|
12月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
536 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
459 2