日志实时分析:从入门到精通

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 做业务的人,常常需要面临以下问题: 产品的受欢迎程度怎么样?该重点投入到哪个功能中? 各个营销渠道的流量怎么样? 该向哪个渠道投入更多资源? + 各个阶段的转化率、留存率有多少?有哪些瓶颈点需要优化? 如果没有数据,就只能够靠瞎猜,靠经验来判断。

日志实时分析:从入门到精通

为什么要实时分析日志

做业务的人,常常需要面临以下问题:

  • 产品的受欢迎程度怎么样?该重点投入到哪个功能中?
  • 各个营销渠道的流量怎么样? 该向哪个渠道投入更多资源?
  • 各个阶段的转化率、留存率有多少?有哪些瓶颈点需要优化?

如果没有数据,就只能够靠瞎猜,靠经验来判断。一旦业务方向走偏,一方面自己的业务量受影响,另一方面,耽误时间,给竞争对手以可乘之机。

日志是程序记录事件和状态的数据。通过日志数据的采集、存储和分析,我们可以很好地掌控产品的质量,辅助我们对开发、运营、运维等活动作出更加及时、更加精确的决策。在业务上,时间就是金钱,能够快速的实时分析出结果,能够及时的帮我们发现业务上的问题,节省我们的时间,帮助我们把业务能力提升不止一个量级。

那么,我们如何选择日志分析的架构呢?

日志分析:架构选型

在日志分析领域,用户可以选择开源的ELK方案,也可以选择阿里云日志服务。这篇文档在功能、价格方面对ELK、日志服务做了全方位对比,仅供参考。

image.png

一般选择技术架构的思路,我们从需求出发,再到落地成本呢,包括运维成本、财务成本,最终选择一个能够满足需求的最低成本的解决方案。具体到日志分析上,我们从这几点出发考虑:

image.png

  • 功能的丰富程度,是否支持

    • 关键字查询
    • 聚合计算,表达式的丰富程度
    • grouping 计算
    • 多维数据join
  • 性能和规模

    • 数据写入吞吐量能达到多少?TB?PB?
    • 数据计算一次计算能覆盖多大数据量?
  • 实时性

    • 从数据产生,到计算出结果,需要多久?秒级别?是实时的?还是离线的?
    • 实时性和规模是不可调和的。
  • 数据的重要程度

    • 是每天运营的报表?一天算一次?还是要立刻拿到结果?

image.png

日志服务的分析提供哪些能力

日志服务分析语法,提供标准的SQL语法,可以同时使用sls的查询和SQL计算功能。

在API上,支持:

  • 日志服务API
  • JDBC,可对接任意开源JDBC协议客户端。

在功能上:

  • 支持20+类别的函数,共150+函数,覆盖了常用的计算、统计、转换、安全审计功能。
  • 支持可视化展示,可以实时的交互式查询,动态展示结果。

在性能上:

  • 支持TB级别的计算能力。
  • 秒级别内获取结果。

在生态上:

  • 日志服务控制台,提供dashboard,提供线图、饼图、流图等多种类型的视图,对接文档
  • 通过grafana插件连接日志服务,通过grafana可视化展示日志计算结果,对接文档
  • 无缝打通datav,通过datav大屏,展示日志的计算结果,对接文档

开始试用Demo

若你没有账号,可以点击此处试用demo,查看分析功能,或者查看配置的各种仪表盘。

入门之路

日志服务是完全serverless的服务。只需要完成初次的对接,安装好客户端,配置好要采集哪些日志,日志接入参考文档

之后即可在控制台完成分析功能。

image.png

开始使用日志分析之路:

  1. 打开日志服务控制台
  2. 选择对应的project
    image.png
  3. 点击查询,进入查询页面
    i    mage.png
  4. 如果没有开启索引,请打开索引,如果没有没有创建列索引,则无法执行SQL,请在右上角查询分析属性,创建对应的列索引
    image.pngimage.png
  5. 在红框中输入查询条件
    image.png
  6. 查询出结果后,添加到仪表盘
    image.png
  7. 打开仪表盘,查看保存的查询结果
    image.png

进阶之路

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
监控 Android开发 C语言
深度解读Android崩溃日志案例分析2:tombstone日志
深度解读Android崩溃日志案例分析2:tombstone日志
83 0
|
3月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
79 0
|
3月前
|
缓存 固态存储 关系型数据库
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
|
4月前
|
Java
如何实现一个高效的二叉搜索树(BST)?请给出时间复杂度分析。 要求:设计一个二叉搜索树,支持插入、删除和查找操作。要求在平均情况下,这些操作的时间复杂度为O(log n)。同时,考虑树的平衡性,使得树的高度保持在对数级别。
如何实现一个高效的二叉搜索树(BST)?请给出时间复杂度分析。 要求:设计一个二叉搜索树,支持插入、删除和查找操作。要求在平均情况下,这些操作的时间复杂度为O(log n)。同时,考虑树的平衡性,使得树的高度保持在对数级别。
34 0
|
4天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
4月前
|
存储 监控 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
|
4月前
|
SQL 存储 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
106 0
|
4天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
37 0
|
4月前
|
运维 监控 数据可视化
日志管理:收集和分析Docker容器日志
容器化技术的普及使得应用的部署和管理更加便捷,但随之而来的挑战之一是有效地管理和分析容器产生的大量日志。本文将深入探讨Docker容器日志管理的重要性,介绍常用的日志收集工具,以及如何分析和利用这些日志数据,提供更为丰富和实际的示例代码,帮助大家更好地理解和应用日志管理的关键技术。
|
4月前
|
SQL Java 数据库连接
日志输出-查看 SQL:深入分析 MyBatis 执行过程
日志输出-查看 SQL:深入分析 MyBatis 执行过程
77 0

相关产品

  • 日志服务