《小丁日志历险记》

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一年前,小丁加入了一家初创公司,准备大干一番刚加入公司,业务规模小,使用少量云主机就可以满足需求了最初,业务刚上线,问题比较多;小丁通过ssh+grep的方法,有效抓住了大部分初期的bug,简单高效过了一段时间,公司的业务获得了巨大成功,一开始的那些机器数,快顶不住压力了幸好小丁的公司使用了云服务,...

一年前,小丁加入了一家初创公司,准备大干一番

刚加入公司,业务规模小,使用少量云主机就可以满足需求了

最初,业务刚上线,问题比较多;小丁通过ssh+grep的方法,有效抓住了大部分初期的bug,简单高效

过了一段时间,公司的业务获得了巨大成功,一开始的那些机器数,快顶不住压力了

幸好小丁的公司使用了云服务,一键扩容出n组机器,扛住了业务增长

不过麻烦事来了,以前通过ssh+grep 方式查日志,愉快地抓bug的日志一去不复返了

这时候,小丁的领导来了,告诉小丁,可以考虑使用开源的ELK方案,找几台机器把日志采集上来,可以轻松管理服务器上的日志,做查询和可视化

果然,小丁使用了ELK方案后,轻松化解了日志难题,查问题找Bug又变得驾轻就熟

随着运营推广,用户规模开始指数级增长,机器又要扩容了

没问题,有云计算一键扩容在,轻松搞定

不过,很快用来采集日志的ELK出现了瓶颈。原来Elasticsearch虽然查得快,奈何写入慢呀。经过各种调优也没有得到很好缓解。

于是,小丁找领导请教。原来有一个叫Kafka的开源软件,可以解决这个问题

有了Kafka在ElasticSearch前做缓冲,终于可以缓解ElasticSearch的写入压力,虽然有时候从采集到ElasticSearch查询可以见,有一段时间延迟,总体来说还在接受范围

过了好长一段愉快的程序员时光,忽然有一天财务找到小丁,说要核算机器成本。一看吓一跳,原来自建的Kafka和ElasticSearch竟然占了这么多机器。原来,这些机器规模都是按照日志高峰时期设定的规模,低峰时这些机器的利用率非常低。这是有点浪费呀

小丁带着疑惑,又跑去请教领导。领导这次也有新发现:阿里云的SLS服务提供了完全Serverless的日志托管功能,也就意味着不用购买机器就可以使用SLS了。

并且它提供了一站式的日志查询、分析、可视化、告警、AIOps、Trace等各类日志功能,真是应有尽有啊。 不仅如此,它还兼容了Kafka的写入协议,也就是意味着之前的采集配置可以换一个写入端,就可以轻松写到SLS

”哎呦,不错呢“,小丁回到自己的电脑前,调研了起来,发现SLS确实很适合他的场景。 把自建的Kafka+ES的机器和SLS做了一个成本对比,发现SLS的方案可以省好一笔钱了。不仅如此,SLS提供的All In One的能力,就再也不用为各种调优和运维的问题烦恼了。 这就用起来

从此,小丁过上了幸福的程序员生活~

附:

阿里云SLS服务介绍 https://help.aliyun.com/product/28958.html

联系阿里云SLS

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8月前
|
SQL 存储 监控
日志问题精要:分析与总结
该文档讲述了应用系统日志记录的重要性和规则。主要目的是记录操作轨迹、监控系统状态和回溯故障。日志记录点包括系统入口、调用其他模块、调用结束、出口和出错时。内容应遵循UTF-8编码,避免敏感信息,按INFO级别记录,及时、完整且安全。日志输出要控制频率和长度,不影响系统性能,并按策略备份和清理。日志等级分为DEBUG、INFO、WARN、ERROR和FATAL。日志文件应有明确目录结构,大小有限制,并定期清理。注意事项包括输出异常堆栈、避免打印对象实例的hashCode、选择合适的日志框架和格式,并支持动态修改日志级别。还要实现链路追踪,确保在多线程环境中正确记录日志。
107 0
|
8月前
|
Java 程序员 C++
日志统计(蓝桥杯每日一题)
日志统计(蓝桥杯每日一题)
59 1
|
8月前
|
Java 程序员 C++
日志统计(每日一题)
日志统计(每日一题)
60 0
|
缓存 Linux Docker
二十六、案例篇:如何找出狂打日志的“内鬼”?
二十六、案例篇:如何找出狂打日志的“内鬼”?
118 0
|
程序员
【蓝桥杯基础题】2018年省赛—日志统计
【蓝桥杯基础题】2018年省赛—日志统计
【蓝桥杯基础题】2018年省赛—日志统计
|
移动开发 运维 监控
满地坑!细数关于日志的9个问题
在日常开发中,如果你是一名后端开发人员,想必应该非常清楚在应用系统运行期间,打印日志有多么重要。
LeetCode每日一题——1598. 文件夹操作日志搜集器
每当用户执行变更文件夹操作时,LeetCode 文件系统都会保存一条日志记录。
127 0
|
移动开发 应用服务中间件 nginx
没想到,日志还能这么分析!
这次,将用一个大概几万条记录的 nginx 日志文件作为案例,一起来看看如何分析出「用户信息」。
没想到,日志还能这么分析!
|
存储 数据采集 Web App开发
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺
488 0
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖