《小丁日志历险记》

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一年前,小丁加入了一家初创公司,准备大干一番刚加入公司,业务规模小,使用少量云主机就可以满足需求了最初,业务刚上线,问题比较多;小丁通过ssh+grep的方法,有效抓住了大部分初期的bug,简单高效过了一段时间,公司的业务获得了巨大成功,一开始的那些机器数,快顶不住压力了幸好小丁的公司使用了云服务,...

一年前,小丁加入了一家初创公司,准备大干一番

刚加入公司,业务规模小,使用少量云主机就可以满足需求了

最初,业务刚上线,问题比较多;小丁通过ssh+grep的方法,有效抓住了大部分初期的bug,简单高效

过了一段时间,公司的业务获得了巨大成功,一开始的那些机器数,快顶不住压力了

幸好小丁的公司使用了云服务,一键扩容出n组机器,扛住了业务增长

不过麻烦事来了,以前通过ssh+grep 方式查日志,愉快地抓bug的日志一去不复返了

这时候,小丁的领导来了,告诉小丁,可以考虑使用开源的ELK方案,找几台机器把日志采集上来,可以轻松管理服务器上的日志,做查询和可视化

果然,小丁使用了ELK方案后,轻松化解了日志难题,查问题找Bug又变得驾轻就熟

随着运营推广,用户规模开始指数级增长,机器又要扩容了

没问题,有云计算一键扩容在,轻松搞定

不过,很快用来采集日志的ELK出现了瓶颈。原来Elasticsearch虽然查得快,奈何写入慢呀。经过各种调优也没有得到很好缓解。

于是,小丁找领导请教。原来有一个叫Kafka的开源软件,可以解决这个问题

有了Kafka在ElasticSearch前做缓冲,终于可以缓解ElasticSearch的写入压力,虽然有时候从采集到ElasticSearch查询可以见,有一段时间延迟,总体来说还在接受范围

过了好长一段愉快的程序员时光,忽然有一天财务找到小丁,说要核算机器成本。一看吓一跳,原来自建的Kafka和ElasticSearch竟然占了这么多机器。原来,这些机器规模都是按照日志高峰时期设定的规模,低峰时这些机器的利用率非常低。这是有点浪费呀

小丁带着疑惑,又跑去请教领导。领导这次也有新发现:阿里云的SLS服务提供了完全Serverless的日志托管功能,也就意味着不用购买机器就可以使用SLS了。

并且它提供了一站式的日志查询、分析、可视化、告警、AIOps、Trace等各类日志功能,真是应有尽有啊。 不仅如此,它还兼容了Kafka的写入协议,也就是意味着之前的采集配置可以换一个写入端,就可以轻松写到SLS

”哎呦,不错呢“,小丁回到自己的电脑前,调研了起来,发现SLS确实很适合他的场景。 把自建的Kafka+ES的机器和SLS做了一个成本对比,发现SLS的方案可以省好一笔钱了。不仅如此,SLS提供的All In One的能力,就再也不用为各种调优和运维的问题烦恼了。 这就用起来

从此,小丁过上了幸福的程序员生活~

附:

阿里云SLS服务介绍 https://help.aliyun.com/product/28958.html

联系阿里云SLS

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
相关文章
|
2月前
|
SQL 存储 监控
日志问题精要:分析与总结
该文档讲述了应用系统日志记录的重要性和规则。主要目的是记录操作轨迹、监控系统状态和回溯故障。日志记录点包括系统入口、调用其他模块、调用结束、出口和出错时。内容应遵循UTF-8编码,避免敏感信息,按INFO级别记录,及时、完整且安全。日志输出要控制频率和长度,不影响系统性能,并按策略备份和清理。日志等级分为DEBUG、INFO、WARN、ERROR和FATAL。日志文件应有明确目录结构,大小有限制,并定期清理。注意事项包括输出异常堆栈、避免打印对象实例的hashCode、选择合适的日志框架和格式,并支持动态修改日志级别。还要实现链路追踪,确保在多线程环境中正确记录日志。
54 0
|
10月前
|
机器学习/深度学习 传感器 安全
2023 年高教社杯E题黄河水沙监测数据分析思路及代码(持续更新)
2023 年高教社杯E题黄河水沙监测数据分析思路及代码(持续更新)
|
移动开发 运维 监控
满地坑!细数关于日志的9个问题
在日常开发中,如果你是一名后端开发人员,想必应该非常清楚在应用系统运行期间,打印日志有多么重要。
|
算法
每日一题冲刺大厂第二十一天 木材加工
大家好,我是泡泡,给大家带来每日一题的目的是为了更好的练习算法,我们的每日一题为了让大家练到各种各样的题目,熟悉各种题型,一年以后,蜕变成为一个不一样的自己!
79 0
|
SQL 存储 关系型数据库
关于数据导入,教你几招
我们知道,数据库是存放数据的仓库。日常我们使用数据库也是为了存储数据,和数据库打交道总免不了要进行数据导入工作。工作中也可能遇到各种不同的数据导入需求,本篇文章主要分享下数据导入相关的小技巧,希望你能学到几招。
328 0
关于数据导入,教你几招
|
存储 数据采集 Web App开发
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺
445 0
半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖
|
存储 弹性计算 监控
半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入
本场景介绍如何通过日志服务数据导入方式,将 OSS 数据导入到日志服务。
424 0
半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入
|
移动开发 应用服务中间件 nginx
没想到,日志还能这么分析!
这次,将用一个大概几万条记录的 nginx 日志文件作为案例,一起来看看如何分析出「用户信息」。
没想到,日志还能这么分析!
|
SQL 存储 缓存
慢查询引发的车祸现场,案例分析!
前言前几天帮公司解决线上慢SQL告警问题,遇到了几个case。下面我会结合case案例分析自己这段时间在工作上遇到的慢查询谈谈数据库如何优化慢查询。一般我们遇到的慢sql都是索引没有正确使用导致的,所以我先介绍下索引相关知识索引介绍索引概念排好序的快速查找的数据结构(我们平时说的索引,如果没有特别指明,都是指B树,其中聚集索引、次要索引、覆盖索引、复合索引、前缀索引、唯一索引默认使用的都是B+树索引,除B+树这种类型的索引外还有哈希索引等)索引优缺点优点:查找 :提高数据检索效率,降低IO成本。排序:通过索引对数据进行排序,降低排序成本,降低cpu消耗缺点:实际上索引也是一张表,该表保存了主键
|
机器学习/深度学习 数据采集 人工智能
【数据采集】采集软科大学排名、天气网、学校新闻网的数据 | 文末送书✨
目录 1. ① 1.1 题目 1.2 思路 1.2.1 发送请求 1.2.2 解析网页 1.2.3 获取结点 1.2.4 数据输出 2. ② 2.1 题目 2.2 思路 2.2.1 发送请求 2.2.2 解析网页 2.2.3 获取结点 2.2.4 数据输出 3. ③ 3.1 题目 3.2 思路 3.2.1 发送请求 3.2.2 解析网页 3.2.3 获取结点 3.2.4 数据输出 4. 福利送书
127 0
【数据采集】采集软科大学排名、天气网、学校新闻网的数据 | 文末送书✨