阿里云DDoS高防 - 访问与攻击日志实时分析(一)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云DDoS高防IP的网站访问日志(包含CC攻击日志)目前已经与日志服务打通,提供实时分析与报表中心的功能。

背景

DDoS攻击趋势

互联网界的安全一直都不断的面临着挑战,以ddos攻击为代表的网络威胁直接对网络安全产生严重的影响。

Ddos攻击正在朝着大规模、移动化、全球化的方向发展. 据近年来的调查报告显示,ddos攻击的频率呈现出增长的趋势。黑客攻击的隐蔽性强,能够控制大量的安全措施差的云服务商和IDC甚至海量摄像头发起攻击,其攻击已经形成了成熟的黑色产业链,并且越来越有组织化。

同时,攻击的方式向两极化发展,慢速攻击、混合攻击尤其是CC攻击占比不断增大,这给检测防御造成更大的难度。一方面,超过1TB的攻击峰值屡见不鲜(Github遭受1.35TB DDoS攻击)、100G攻击次数成倍增长,另一方面,应用层攻击也在大幅度翻倍(参考Imperva 2017Q4的DDoS风险报告

根据卡巴斯基2018Q1的DDoS风险报告,中国依然主要的DDoS攻击源和目标(50%左右). 主要被攻击的行业是互联网(超过50%)、游戏、软件公司、金融等(参考Imperva 2017Q4的DDoS风险报告)。

阿里云DDoS高防IP

阿里云云盾DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。

云盾高防产品目前在全世界多个国家都建设了大容量的清洗中心,整体清洗能力在2T以上,2014年,云盾高防IP防御了全球最大的一次DDoS攻击453.8Gbps。

ddos

阿里云日志服务

阿里云的日志服务(log service)是针对日志类数据的一站式服务,无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能,提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能。

sls

阿里云DDoS高防访问与攻击日志实时分析概述

根据APNIC 2017年DDoS风险报告,超过80%DDoS攻击会混合HTTP攻击,而CC攻击尤其隐蔽,因此通过日志对访问和攻击行为进行即时分析研究、附加防护策略就显得尤其重要。

目前,阿里云DDoS高防IP网站访问日志(包含CC攻击日志)目前已经与日志服务打通,提供实时分析与报表中心的功能。

发布地域

  • 国内
  • 国际

适用客户

  • 对日志存储有合规需求的大型企业与机构,如金融公司、政府类机构等。
  • 需要实时了解DDoS高防整体状况,并对关键业务的DDoS中CC攻击进行深入分析与防护的企业,如金融类、电商类和游戏类企业等。

发布功能:

  1. 轻松配置,即可实时高防日志采集。
  2. 依托日志服务,提供实时日志分析,并提供开箱机用的报表中心(支持定制),对数据库执行状况、性能、潜在安全问题了如指掌,并可实时挖掘细节。
  3. 提供特定免费数据导入额度,以及免费3天的日志存储、查询与实时分析,并可自由扩展存储时间,以便合规、溯源、备案等。支持不限时间的存储,存储成本低至0.35元/GB/月。参考更多免费与收费细则
  4. 支持基于特定指标,支持定制准实时监测与报警,确保关键业务异常及时响应。
  5. 可对接其他生态如流计算、云存储、可视化方案,进一步挖掘数据价值。

方案比较

与AWS Shield方案在日志分析方面的比较:
ddos_shield

前提条件

  1. 开通日志服务。
  2. 开通DDoS服务,购买DDoS高防IP实例,并配置保护网站

如何配置

正式发布后, 在DDoS控制台简单操作即可打开特定网站的日志.

功能概览

开通配置后即可使用自带的实时分析功能与报表中心.

场景一: 实时网站访问异常排查与问题分析,读写延时,各运营商分布等

查看DDoS访问日志的SQL:

__topic__: ddos_access_log

更多:
sls_log

场景二: CC攻击者分布与来源追踪,溯源并辅助应对策略等

查看CC攻击者的国家分布的SQL:

__topic__: ddos_access_log and cc_blocks > 0| SELECT ip_to_country(if(real_client_ip='-', remote_addr, real_client_ip)) as country, count(1) as "攻击次数" group by country

更多:
sls_dashboard1

场景三: 整体访问监控程度,运维可靠性指标一目了然

查看PV的SQL:

 __topic__: ddos_access_log  | select count(1) as PV

更多:
sls_dashboard2

场景四: 运营分析,网站受欢迎程度,被哪些渠道使用,客户端分布等

查看来自各个网络运营商的访问者的流量分布的SQL:

__topic__: ddos_access_log  | select ip_to_provider(if(real_client_ip='-', remote_addr, real_client_ip)) as provider, round(sum(request_length)/1024.0/1024.0, 3) as mb_in group by provider having ip_to_provider(if(real_client_ip='-', remote_addr, real_client_ip)) <> '' order by mb_in desc limit 10

更多:
sls_dashboard3

进一步参考

我们会介绍更多关于如何配置并使用DDoS高防访问日志对网站运营、访问和安全状况进行详细分析的内容,敬请期待。

目录
相关文章
|
4天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
10天前
|
存储 监控 关系型数据库
PHP编写的电脑监控软件:用户登录日志记录与分析
使用PHP编写简单但功能强大的电脑监控软件,记录用户登录日志并进行分析。代码示例展示了如何获取并存储用户IP地址和登录时间到数据库,然后进行登录数据的分析,如计算登录频率和常见登录时间。此外,还介绍了如何通过定时任务自动将监控数据提交到网站,以便实时监控用户活动,提升系统安全性和稳定性。
31 0
|
12天前
|
数据可视化
R语言两阶段最小⼆乘法2SLS回归、工具变量法分析股息收益、股权溢价和surfaces曲面图可视化
R语言两阶段最小⼆乘法2SLS回归、工具变量法分析股息收益、股权溢价和surfaces曲面图可视化
|
12天前
|
运维 NoSQL Java
Serverless 应用引擎产品使用之在函数计算上部署Java服务并访问阿里云MongoDB如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
15 0
|
12天前
|
运维 监控 关系型数据库
Serverless 应用引擎产品使用之在阿里云函数计算(FC)中,要访问另一个账号的rds配置rds的白名单如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
28 0
|
17天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
223 11
|
19天前
|
敏捷开发 Devops 测试技术
云效产品使用常见问题之不知道每次登录是否会记录在阿里云账号的登录日志中如何解决
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
22天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
23天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
1月前
|
SQL 存储 监控
日志问题精要:分析与总结
该文档讲述了应用系统日志记录的重要性和规则。主要目的是记录操作轨迹、监控系统状态和回溯故障。日志记录点包括系统入口、调用其他模块、调用结束、出口和出错时。内容应遵循UTF-8编码,避免敏感信息,按INFO级别记录,及时、完整且安全。日志输出要控制频率和长度,不影响系统性能,并按策略备份和清理。日志等级分为DEBUG、INFO、WARN、ERROR和FATAL。日志文件应有明确目录结构,大小有限制,并定期清理。注意事项包括输出异常堆栈、避免打印对象实例的hashCode、选择合适的日志框架和格式,并支持动态修改日志级别。还要实现链路追踪,确保在多线程环境中正确记录日志。
26 0

相关产品

  • 日志服务