AI 助理
文档备案控制台
开发者社区 云存储 日志服务SLS 文章 正文

使用CloudLens for SLS监控Project资源配额最佳实践

2023-12-18 79573
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文主要介绍如何使用CloudLens for SLS中全局错误日志、监控指标做Project 资源配额的水位监控 、超限监控 以及 如何提交资源配额提升申请。

背景介绍

Alibaba Cloud Lens 基于 SLS 构建统一云产品可观测能力，支持一键开启实例日志（重要日志、详细日志、作业运行日志）和全局日志（审计日志、计费日志、错误日志、监控指标）的采集功能。

日志分类

子分类

监控场景说明

实例日志

详细日志（收费）

访问流量监控

访问异常监控

重要日志（免费）

消费组监控

Logtail采集监控

作业运行日志（免费）

数据加工（新版）监控

定时SQL任务监控

全局日志

审计日志（免费）

资源操作监控

错误日志（免费）

额度超限监控

访问异常监控

操作异常监控

监控指标（免费）

访问流量监控

访问异常监控

资源配额水位监控

计费日志（免费）

资源用量跟踪

各日志说明参考CloudLens日志索引表

使用场景

本文主要介绍如何使用CloudLens for SLS中全局错误日志、监控指标做Project 资源配额的水位监控 、超限监控 以及 如何提交资源配额提升申请。

使用前提

1.开通CloudLens for SLS 以及全局错误日志、监控指标

2.全局监控日志需存储在同一个Project下

为了构建实时资源配额水位监控，全局日志的几种监控日志（错误日志、指标监控）需存放在相同的Project下。同时为了避免监控日志存放在业务Project导致监控占用Project的Quota，可直接挑选一个固定地域的目标Project，如杭州地域：log-service-{用户ID}-cn-hangzhou。

CloudLens for SLS 额度监控大盘

资源配额预警概览

报表提供资源配额预警概览 （水位超过80%）以及 额度超限分布

Project重点资源配额实时水位详情

包含Project部分基础资源配额以及数据读写资源配额的实时水位详情

Project资源配额超限详情

监控实践

1.额度监控监控项分类说明：

分类

监控项

说明

实时水位监控

基础资源配额水位监控
  • 监控Project 内LogStore数、机器组数、Logtail采集配置水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

数据读写配额水位监控
  • 监控Project写入流量、Project写入次数超配额次数
  • 依赖时序库：internal-monitor-metric

额度超限监控

资源配额超限次数监控
  • 监控基础配额、数据读写超配额次数
  • 依赖日志库：internal-error_log

2.高级监控项细分说明如下：

分类

场景

监控项

说明

基础资源配额

LogStore

实时水位监控
  • 监控Project下LogStore数水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

额度超限监控
  • 监控Project下LogStore数超配额次数
  • 依赖日志库：internal-error_log

机器组

水位监控
  • 监控Project下机器组数水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

额度超限监控
  • 监控Project下机器组数超配额次数
  • 依赖日志库：internal-error_log

Logtail采集配置

水位监控
  • 监控Project下Logtail采集配置数水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

额度超限监控
  • 监控Project下Logtail采集配置数超配额次数
  • 依赖日志库：internal-error_log

数据读写资源配额

Project写入流量

水位监控
  • 监控Project写入流量水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

额度超限监控
  • 监控Project写入流量超配额次数
  • 依赖日志库：internal-error_log

Project写入次数

水位监控
  • 监控Project写入次数水位是否超阈值预期百分比
  • 依赖时序库：internal-monitor-metric

额度超限监控
  • 监控Project写入次数超配额次数
  • 依赖日志库：internal-error_log

基础监控

基础资源配额水位监控

1、确认告警SQL：15min定时检查LogStore数、机器组数、Logtail采集配置水位是否达到告警阈值。

注意：查询SQL默认返回100条数据，如需返回全部查询结果SQL结尾可添加 limit 1000，代表可返回1000条查询结果

查询SQL如下：（注意：告警只能对比结果中最多1000条数据是否满足告警条件，建议告警SQL内先针对水位做下筛选，比如此处logstore_ratio > 80 or machine_group_ratio > 80 or logtail_config_ratio > 80 ）

*|select Project, region, logstore_ratio, machine_group_ratio, logtail_config_ratio from(SELECT A.idas Project , A.regionas region,round(COALESCE(SUM(B.count_logstore),0)/cast(json_extract(A.quota,'$.logstore')asdouble)*100,3)as logstore_ratio,  cast(json_extract(A.quota,'$.logstore')asdouble)as quota_logstore,round(COALESCE(SUM(C.count_machine_group),0)/cast(json_extract(A.quota,'$.machine_group')asdouble)*100,3)as machine_group_ratio, cast(json_extract(A.quota,'$.machine_group')asdouble)as quota_machine_group,round(COALESCE(SUM(D.count_logtail_config),0)/cast(json_extract(A.quota,'$.config')asdouble)*100,3)as logtail_config_ratio, cast(json_extract(A.quota,'$.config')asdouble)as quota_logtail_config
FROM"resource.sls.cmdb.project"as A
LEFT JOIN(SELECT project,COUNT(*)AS count_logstore
FROM"resource.sls.cmdb.logstore"as B
GROUPBY project
)AS B ON A.id= B.projectLEFT JOIN(SELECT project,COUNT(*)AS count_machine_group
FROM"resource.sls.cmdb.machine_group"as C
GROUPBY project
)AS C ON A.id= C.projectLEFT JOIN(SELECT project,COUNT(*)AS count_logtail_config
FROM"resource.sls.cmdb.logtail_config"as D
GROUPBY project
)AS D ON A.id= D.projectgroupby  A.id, A.quota, A.region)where quota_logstore isnotnulland quota_machine_group isnotnulland quota_logtail_config isnotnulland(logstore_ratio >80or machine_group_ratio >80or logtail_config_ratio >80)limit10000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的LogStore数、机器组数、Logtail采集配置其中一个水位超过额度的90%时告警级别为严重
  • 当有Project的LogStore数、机器组数、Logtail采集配置其中一个水位超过额度的80%时告警级别为中

数据读写配额水位监控

1、确认告警SQL：每分钟定时检查Project写入流量、写入次数水位是否达到告警阈值。

注意：查询SQL默认返回100条数据，如需返回全部查询结果SQL结尾可添加 limit 1000，代表可返回1000条查询结果

查询SQL：（注意：告警只能对比结果中最多1000条数据是否满足告警条件，建议告警SQL内先针对写入流量/写入次数做下筛选，比如此处where inflow_ratio > 80 or write_cnt_ratio > 80 ）

(*)|select Project, region, inflow_ratio, write_cnt_ratio from(SELECT cmdb.idas Project, cmdb.regionas region, round(COALESCE(M.name1,0)/round(cast(json_extract(cmdb.quota,'$.inflow_per_min')asdouble)/1000000000,3)*100,3)as inflow_ratio, round(COALESCE(M.name2,0)/cast(json_extract(cmdb.quota,'$.write_cnt_per_min')asdouble)*100,3)as write_cnt_ratio
from"resource.sls.cmdb.project"as cmdb  
LEFT JOIN(select project,  round(MAX(name1)/1000000000,3)as name1, MAX(name2)as name2 from(SELECT __time_nano__ astime, element_at( split_to_map(__labels__,'|','#$#'),'project')as project,   sum(CASE WHEN __name__ ='logstore_origin_inflow_bytes' THEN __value__ ELSE NULL END)AS name1,  sum(CASE WHEN __name__ ='logstore_write_count' THEN __value__ ELSE NULL END)AS name2
FROM"internal-monitor-metric.prom"where __name__ in('logstore_origin_inflow_bytes','logstore_write_count')and regexp_like(element_at( split_to_map(__labels__,'|','#$#'),'project'),'.*')groupby project,time)groupby project)AS M ON cmdb.id= M.project)where inflow_ratio >80or write_cnt_ratio >80limit10000

2、告警配置

查询区间选择相对5分钟，依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的Project写入流量、写入次数其中一个水位超过额度的90%时告警级别为严重
  • 当有Project的Project写入流量、写入次数其中一个水位超过额度的80%时告警级别为中

资源配额超限次数监控

1、确认告警SQL：15min定时检查是否有额度超限发生。

查询SQL：

((*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed or ErrorCode: ShardWriteQuotaExceed or ErrorCode: ShardReadQuotaExceed)))|SELECT Project,CASE 
WHEN ErrorMsg like'%Project write quota exceed: inflow%' then 'Project写入流量超限'WHEN ErrorMsg like'%Project write quota exceed: qps%' then 'Project写入次数超限'WHEN ErrorMsg like'%dashboard quota exceed%' then '报表额度超限'WHEN ErrorMsg like'%config count%' then 'Logtail采集配置超限'WHEN ErrorMsg like'%machine group count%' then '机器组超限'WHEN ErrorMsg like'%Alert count %' then '告警超限'WHEN ErrorMsg like'%logstore count %' then 'LogStore数超限'WHEN ErrorMsg like'%shard count%' then 'Shard数超限'WHEN ErrorMsg like'%shard write bytes%' then 'Shard写入超限'WHEN ErrorMsg like'%shard write quota%' then 'Shard写入超限'WHEN ErrorMsg like'%user can only run%' then 'SQL分析操作并发数超限'    ELSE ErrorMsg
  END AS ErrorMsg,COUNT(1)AScountGROUPBY Project, ErrorMsg Limit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  1. 当有任意额度超限10次错误告警级别为严重
  2. 当有任意额度发生超限1次错误时告警级别为中

高级监控

以下是基础监控的细分项，一般情况下不需要，如果需更精细的告警监控，可以参考。

LogStore监控

水位监控

1、确认告警SQL：15min定时检查LogStore数水位是否达到告警阈值。

注意：查询SQL默认返回100条数据，如需返回全部查询结果SQL结尾可添加 limit 1000，代表可返回1000条查询结果

查询SQL：

*|select Project, region, round(count_logstore/quota_logstore *100,3)as logstore_ratio from(SELECT A.idas Project , A.regionas region, COALESCE(SUM(B.count_logstore),0)AS count_logstore , cast(json_extract(A.quota,'$.logstore')asdouble)as quota_logstore
FROM"resource.sls.cmdb.project"as A
LEFT JOIN(SELECT project,COUNT(*)AS count_logstore
FROM"resource.sls.cmdb.logstore"as B
GROUPBY project
)AS B ON A.id= B.projectgroupby A.id, A.quota, A.region)where  quota_logstore isnotnullorderby logstore_ratio desclimit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的LogStore数超过额度的90%时告警级别为严重
  • 当有Project的LogStore数超过额度的80%时告警级别为中

此处需注意，告警触发条件配置多个时，判断顺序是从上至下，因此logstore_ratio>90需配置在logstore_ratio>80的上面。

超限监控

1、确认告警SQL：15min定时检查LogStore是否发生超限现象。

查询SQL：

*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed)|SELECT Project,COUNT(1)AScountwhere ErrorMsg like'%logstore count %'GROUPBY Project ORDERBYcountDESCLIMIT1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的LogStore发生超限10次错误告警级别为严重
  • 当有Project的LogStore发生超限1次错误时告警级别为中

机器组监控

水位监控

1、确认告警SQL：15min定时检查机器组数水位是否达到告警阈值。

注意：查询SQL默认返回100条数据，如需返回全部查询结果SQL结尾可添加 limit 1000，代表可返回1000条查询结果

查询SQL：

*|select Project, region, round(count_machine_group/quota_machine_group *100,3)as machine_group_ratio from(SELECT A.idas Project , A.regionas region, COALESCE(SUM(B.count_machine_group),0)AS count_machine_group , cast(json_extract(A.quota,'$.machine_group')asdouble)as quota_machine_group
FROM"resource.sls.cmdb.project"as A
LEFT JOIN(SELECT project,COUNT(*)AS count_machine_group
FROM"resource.sls.cmdb.machine_group"as B
GROUPBY project
)AS B ON A.id= B.projectgroupby A.id, A.quota, A.region)where  quota_machine_group isnotnullorderby machine_group_ratio desclimit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的机器组超过额度的90%时告警级别为严重
  • 当有Project的机器组超过额度的80%时告警级别为中

超限监控

1、确认告警SQL：15min定时检查机器组是否发生超限现象。

查询SQL：

*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed)|SELECT Project,COUNT(1)AScountwhere ErrorMsg like'%machine group count%'GROUPBY Project ORDERBYcountDESCLIMIT1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

● 当有Project的机器组发生超限10次错误告警级别为严重

● 当有Project的机器组发生超限1次错误时告警级别为中

Logtail采集配置

水位监控

1、确认告警SQL：15min定时检查Logtail采集配置数水位是否达到告警阈值。

注意：查询SQL默认返回100条数据，如需返回全部查询结果SQL结尾可添加 limit 1000，代表可返回1000条查询结果

查询SQL：

*|select Project, region, round(count_logtail_config/quota_logtail_config *100,3)as logtail_config_ratio from(SELECT A.idas Project , A.regionas region, COALESCE(SUM(B.count_logtail_config),0)AS count_logtail_config , cast(json_extract(A.quota,'$.config')asdouble)as quota_logtail_config
FROM"resource.sls.cmdb.project"as A
LEFT JOIN(SELECT project,COUNT(*)AS count_logtail_config
FROM"resource.sls.cmdb.logtail_config"as B
GROUPBY project
)AS B ON A.id= B.projectgroupby A.id, A.quota, A.region)where  quota_logtail_config isnotnullorderby logtail_config_ratio desclimit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的Logtail采集配置数超过额度的90%时告警级别为严重
  • 当有Project的Logtail采集配置数超过额度的80%时告警级别为中

超限监控

1、确认告警SQL：15min定时检查LogStore是否发生超限现象。

查询SQL：

*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed)|SELECT Project,COUNT(1)AScountwhere ErrorMsg like'%config count%'GROUPBY Project ORDERBYcountDESCLIMIT1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project的Logtail采集配置发生超限10次错误告警级别为严重
  • 当有Project的Logtail采集配置发生超限1次错误时告警级别为中

Project写入流量监控

水位监控

1、确认告警SQL：每分钟定时检查相对5分钟内Project写入流量水位是否达到告警阈值。

SQL详情：

(*)|SELECT Project, region , round(count_inflow/cast(quota_inflow asdouble)*100,3)as inflow_ratio
FROM(SELECT cmdb.idas Project, cmdb.regionas region, COALESCE(M.name1,0)as count_inflow, round(cast(json_extract(cmdb.quota,'$.inflow_per_min')asdouble)/1000000000,3)as quota_inflow  from"resource.sls.cmdb.project"as cmdb  
LEFT JOIN(select project,  round(MAX(name1)/1000000000,3)as name1 from(SELECT __time_nano__ astime, element_at( split_to_map(__labels__,'|','#$#'),'project')as project,   sum(CASE WHEN __name__ ='logstore_origin_inflow_bytes' THEN __value__ ELSE NULL END)AS name1
FROM"internal-monitor-metric.prom"where __name__ ='logstore_origin_inflow_bytes'and regexp_like(element_at( split_to_map(__labels__,'|','#$#'),'project'),'.*')groupby project,time)groupby project)AS M ON cmdb.id= M.project)orderby inflow_ratio desclimit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project写入流量超过额度的90%时告警级别为严重
  • 当有Project写入流量超过额度的80%时告警级别为中

超限监控

1、确认告警SQL：15min定时检查Project写入流量是否发生超限现象。

查询SQL：

*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed)|SELECT Project,COUNT(1)AScountwhere ErrorMsg like'%Project write quota exceed: inflow%'GROUPBY Project ORDERBYcountDESCLIMIT1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project写入流量发生超限10次错误告警级别为严重
  • 当有Project写入流量发生超限1次错误时告警级别为中

Project写入次数监控

水位监控

1、确认告警SQL：每分钟定时检查相对5分钟内Project写入次数水位是否达到告警阈值。

查询SQL：

(*)|SELECT Project, region,  round(count_write_cnt/cast(quota_write_cnt asdouble)*100,3)as write_cnt_ratio
FROM(SELECT cmdb.idas Project, cmdb.regionas region, COALESCE(M.name1,0)as count_write_cnt,cast(json_extract(cmdb.quota,'$.write_cnt_per_min')asbigint)as quota_write_cnt from"resource.sls.cmdb.project"as cmdb  
LEFT JOIN(select project,  MAX(name1)as name1 from(SELECT __time_nano__ astime, element_at( split_to_map(__labels__,'|','#$#'),'project')as project,  sum(CASE WHEN __name__ ='logstore_write_count' THEN __value__ ELSE NULL END)AS name1
FROM"internal-monitor-metric.prom"where __name__  ='logstore_write_count'and regexp_like(element_at( split_to_map(__labels__,'|','#$#'),'project'),'.*')groupby project,time)groupby project)AS M ON cmdb.id= M.project)orderby write_cnt_ratio desclimit1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project写入次数超过额度的90%时告警级别为严重
  • 当有Project写入次数超过额度的80%时告警级别为中

超限监控

1、确认告警SQL：15min定时检查Project写入次数是否发生超限现象。

查询SQL：

*and(ErrorCode: ExceedQuota or ErrorCode: QuotaExceed or ErrorCode: ProjectQuotaExceed or ErrorCode:WriteQuotaExceed)|SELECT Project,COUNT(1)AScountwhere ErrorMsg like'%Project write quota exceed: qps%'GROUPBY Project ORDERBYcountDESCLIMIT1000

2、告警配置

依据业务场景配置告警触发条件、以及告警策略：

  • 当有Project写入次数发生超限10次错误告警级别为严重
  • 当有Project写入次数发生超限1次错误时告警级别为中

资源配额调整申请

操作步骤

1.登录日志服务控制台。

2.在Project列表区域，单击目标Project。

3.单击图标。

4.单击资源配额对应的管理。

5.在资源配额面板中，调整目标资源的配额，然后单击保存。

文章标签：
日志服务
SQL
监控
BI
索引
存储
关键词：
日志服务最佳实践
日志服务监控
日志服务project
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
玉梅
目录
相关文章
HELLO程序员
|
5月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库（TSDB），支持多维数据模型和灵活查询语言，适用于大规模集群监控。它通过 HTTP 拉取数据，支持服务发现、多种图表展示（如 Grafana），并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
HELLO程序员
503 122
基于docker搭建监控系统&日志收集
HELLO程序员
|
5月前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中，日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践，涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转，以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法，可提升系统的可观测性与运维效率。
HELLO程序员
531 1
日志收集和Spring 微服务监控的最佳实践
运维有小邓
|
5月前
|
负载均衡 监控 安全
5 个 IIS 日志记录最佳实践
IIS日志记录是监控Web服务器性能与安全的关键。本文介绍启用日志、应用池配置、负载均衡、敏感数据防护、日志集中管理及保留策略等五大最佳实践，助力高效分析与合规审计。
运维有小邓
343 1
陌陌谣
|
5月前
|
存储 缓存 监控
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
本文介绍基于C++红黑树算法实现公司监控电脑软件的日志高效管理，利用其自平衡特性提升日志排序、检索与动态更新效率，并结合实际场景提出优化方向，增强系统性能与稳定性。
陌陌谣
166 4
啊逗
|
10月前
|
监控 测试技术 Go
告别传统Log追踪！GOAT如何用HTTP接口重塑代码监控
本文介绍了GOAT（Golang Application Tracing）工具的使用方法，通过一个Echo问答服务实例，详细展示了代码埋点与追踪技术的应用。内容涵盖初始化配置、自动埋点、手动调整埋点、数据监控及清理埋点等核心功能。GOAT适用于灰度发布、功能验证、性能分析、Bug排查和代码重构等场景，助力Go项目质量保障与平稳发布。工具以轻量高效的特点，为开发团队提供数据支持，优化决策流程。
啊逗
640 89
阿里云云原生
|
9月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS)，解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent（iLogtail/LoongCollector）在海外场景的应用，推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案，包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等，并提供了成本优化策略和多目标发送配置指导，帮助企业构建稳定、低成本、高可用的全球日志系统。
阿里云云原生
953 54
阿里云云原生
|
10月前
|
消息中间件 运维 监控
智能运维，由你定义：SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术，SAE 为用户提供了更强大的自定义日志与监控解决方案，帮助用户轻松实现日志采集、监控指标收集等功能。未来，SAE 将会支持 istio 多租场景，帮助用户更高效地部署和管理服务网格。
阿里云云原生
613 51
奔跑的数据
|
11月前
|
数据采集 运维 监控
数据采集监控与告警：错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失，而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性，反方则担忧复杂化带来的成本与安全风险。未来，结合AI与大数据技术，数据采集将向智能化、全自动方向发展，实现动态调整与智能识别反爬策略，降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
奔跑的数据
520 7
数据采集监控与告警：错误重试、日志分析与自动化运维
运维有小邓
|
10月前
|
监控 安全 BI
优化 Apache 日志记录的 5 个最佳实践
Apache 日志记录对于维护系统运行状况和网络安全至关重要，其核心包括访问日志与错误日志的管理。通过制定合理的日志策略，如选择合适的日志格式、利用条件日志减少冗余、优化日志级别、使用取证模块提升安全性及实施日志轮换，可有效提高日志可用性并降低系统负担。此外，借助 Eventlog Analyzer 等专业工具，能够实现日志的高效收集、可视化分析与威胁检测，从而精准定位安全隐患、评估服务器性能，并满足合规需求，为强化网络安全提供有力支持。
运维有小邓
265 0
优化 Apache 日志记录的 5 个最佳实践
陌陌谣
|
11月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中，公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录，这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时，性能往往难以令人满意。故而，引入特定的内存数据结构与优化算法成为必然选择。
陌陌谣
294 3
云存储

日志服务SLS

热门文章

最新文章

  • 1
    日志服务十大经典问题
  • 2
    日志服务权限配置问题
  • 3
    日志服务 SLS 深度解析：拥抱云原生和 AI，基于 SLS 的可观测分析创新
  • 4
    Velox表达式计算原理调研
  • 5
    日志服务 SLS 和开源 ELK 全面对比
  • 6
    从 2023 CCF AIOps 挑战赛看日志异常检测
  • 7
    从存储统一到数据融合，SLS在可观测场景的思考和行动
  • 8
    课时1：微服务系统中的异常检测与根因定位分析
  • 9
    New Relic 可观测平台调研
  • 10
    阿里云日志服务一直扣费关闭删除日志服务方法
  • 1
    阿里云日志服务的傻瓜式极易预测模型
    353
  • 2
    在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
    664
  • 3
    日志数据投递到MaxCompute最佳实践
    498
  • 4
    Aliyun日志sls接入总结
    1139
  • 5
    面向全栈可观测的性能监控
    53424
  • 6
    开启 Alibaba Cloud Lens Copilot 探索之旅
    110300
  • 7
    面向全栈可观测的分布式链路追踪
    61976
  • 8
    面向全栈可观测的数据融合
    147882
  • 9
    从 2023 CCF AIOps 挑战赛看日志异常检测
    135844
  • 10
    SLS 大模型可观测&安全推理审计标准解决方案
    105751

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS 构建可观测体系实战
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！