AI 助理
备案控制台登录注册
开发者社区 云存储 文章 正文

日志服务（原SLS）性能优化：一个SQL一秒分析一亿日志

2017-09-12 3871
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
云备份 Cloud Backup，100GB 3个月
阿里云盘企业版 CDE，企业版用户数5人 500GB空间
简介： 日志服务（原SLS）提供LogSearch/Analytics在一秒内能：实时检索到该日志，并且提供5个组合条件查询10亿级数据，5个维度聚合SQL分析1亿条数据能力

一秒可以做什么？

  • 点击日志刷入磁盘，通过Agent采集走？
  • 流计算订阅到日志，内存中更新计数？

日志服务（原SLS）提供LogSearch/Analytics功能在一秒内还能：实时检索到该日志，并且提供5个组合条件查询10亿级数据，5个维度聚合SQL分析1亿条数据能力

线上系统20亿访问日志分析演示（大约1分钟）：

想自己试试看？我们准备3个亿级数据源，欢迎来试玩

该版本重要功能：

  • 对底层存储进行深度优化，规模提升1000倍（在保证实时性下均能到亿以上级别）
  • 增强分析与查询能力，同样延时下提供更强计算能力+更大规模+存储量
  • 所见即所得Dashboard功能：将查询分析另存为实时图表/报警
  • Logtail新增本地状态查询功能，实时掌握Agent运行历史与现状

赶紧来试试吧：https://www.aliyun.com/product/sls

文章标签：
日志服务
监控
SQL
Web App开发
关键词：
日志服务分析
SQL日志
日志服务sql
SQL分析
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
简志
+关注
41文章2问答
目录
打赏
0
0
0
0
4532
分享
相关文章
阿里云瑶池数据库SelectDB
|
8天前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB，MiniMax构建了覆盖国内及海外业务的日志可观测中台，总体数据规模超过数PB，日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒，峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段，MiniMax在优化性能的同时显著降低了建设成本，计算资源用量降低40%，热数据存储用量降低50%，为未来业务的高速发展和技术演进奠定了坚实基础。
阿里云瑶池数据库SelectDB
33 1
MiniMax GenAI 可观测性分析 ：基于阿里云 SelectDB 构建 PB 级别日志系统
技术小达人
|
26天前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
让跨 project 联查更轻松，SLS StoreView 查询和分析实践
技术小达人
32 1
Echo_Wish
|
2月前
|
机器学习/深度学习 人工智能 运维
智能日志分析：用AI点亮运维的未来
智能日志分析：用AI点亮运维的未来
Echo_Wish
510 15
技术小达人
|
28天前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
技术小达人
39 0
绿水长流*z
|
2月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证，原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误，需要把前面已经执行过的SQL撤销以达到原子性的目的，这个过程也叫做"回滚"，所以Undo Log也叫回滚日志。
绿水长流*z
133 7
MySQL事务日志-Undo Log工作原理分析
蓝易云
|
3月前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析，对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索，而日志文件则记录了系统和应用的运行状态，是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能，可以有效提升系统的稳定性和安全性。
蓝易云
81 7
运维有小邓
|
3月前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
运维有小邓
95 1
拉丁解牛说技术
|
3月前
|
SQL 存储 缓存
MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
本文详细介绍了MySQL中update SQL执行过程涉及的undoLog、redoLog和binLog三种日志的作用及其工作原理，包括它们如何确保数据的一致性和完整性，以及在事务提交过程中各自的角色。同时，文章还探讨了这些日志在故障恢复中的重要性，强调了合理配置相关参数对于提高系统稳定性的必要性。
拉丁解牛说技术
164 6
liuyunshengsir
|
3月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP，可以通过分析Nginx的访问日志文件来实现
liuyunshengsir
313 3
绿水长流*z
|
5月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现，而持久性则依赖于事务日志中的`Redo Log`。在MySQL中，`Redo Log`确保已提交事务的数据能持久保存，即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改，待事务提交时写入磁盘。此外，`Redo Log`采用简单的物理日志格式和高效的顺序IO，确保快速提交。通过不同的落盘策略，可在性能和安全性之间做出权衡。
绿水长流*z
1922 14
MySQL事务日志-Redo Log工作原理分析

云存储
+关注

热门文章

最新文章

  • 1
    日志客户端（Logstash,Fluentd, Logtail）横评
    38160
  • 2
    OSS重磅推出OSS Select——使用SQL选取文件的内容
    24046
  • 3
    如何使用OSS RTMP功能直播/鉴黄？
    16865
  • 4
    日志服务数据加工: 最佳实践汇总(持续更新)
    14808
  • 5
    【OSS全球加速】如何利用CNAME自定义加速区域
    12147
  • 6
    阿里云日志服务(SLS)安装使用方法简介
    10707
  • 7
    表格存储Tablestore权威指南（持续更新）
    10195
  • 8
    日志服务数据加工：原理篇
    10180
  • 9
    【ECS最佳实践】基于多块云盘构建LVM逻辑卷
    9189
  • 10
    日志系列--程序日志处理挑战与方案
    6836
  • 1
    AI变革药物研发：深势科技的云原生实践之路
    73
  • 2
    一文总览阿里云存储产品年度升级！
    73
  • 3
    阿里云安全体检工具使用体验评测
    44
  • 4
    【阿里云】操作系统控制台——体验与测评
    61
  • 5
    AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
    138
  • 6
    如何将DVD转ISO文件？完整指南与最佳工具推荐
    110
  • 7
    利用阿里云OSS（对象存储服务）快速搭建私人网盘
    170
  • 8
    即时通讯开源项目OpenIM配置离线推送全攻略
    104
  • 9
    即时通讯开源项目OpenIM配置可视化-etcd配置中心
    70
  • 10
    零基础构建即时通讯开源项目OpenIM移动端-Flutter篇
    116

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 使用CloudLens管理SLS日志采集
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
    • 下一篇
    基于ECS搭建云上博客
    目录
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等