日志实时分析:从入门到精通-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

日志实时分析:从入门到精通

简介: 做业务的人,常常需要面临以下问题: 产品的受欢迎程度怎么样?该重点投入到哪个功能中? 各个营销渠道的流量怎么样? 该向哪个渠道投入更多资源? + 各个阶段的转化率、留存率有多少?有哪些瓶颈点需要优化? 如果没有数据,就只能够靠瞎猜,靠经验来判断。

日志实时分析:从入门到精通

为什么要实时分析日志

做业务的人,常常需要面临以下问题:

  • 产品的受欢迎程度怎么样?该重点投入到哪个功能中?
  • 各个营销渠道的流量怎么样? 该向哪个渠道投入更多资源?
  • 各个阶段的转化率、留存率有多少?有哪些瓶颈点需要优化?

如果没有数据,就只能够靠瞎猜,靠经验来判断。一旦业务方向走偏,一方面自己的业务量受影响,另一方面,耽误时间,给竞争对手以可乘之机。

日志是程序记录事件和状态的数据。通过日志数据的采集、存储和分析,我们可以很好地掌控产品的质量,辅助我们对开发、运营、运维等活动作出更加及时、更加精确的决策。在业务上,时间就是金钱,能够快速的实时分析出结果,能够及时的帮我们发现业务上的问题,节省我们的时间,帮助我们把业务能力提升不止一个量级。

那么,我们如何选择日志分析的架构呢?

日志分析:架构选型

在日志分析领域,用户可以选择开源的ELK方案,也可以选择阿里云日志服务。这篇文档在功能、价格方面对ELK、日志服务做了全方位对比,仅供参考。

image.png

一般选择技术架构的思路,我们从需求出发,再到落地成本呢,包括运维成本、财务成本,最终选择一个能够满足需求的最低成本的解决方案。具体到日志分析上,我们从这几点出发考虑:

image.png

  • 功能的丰富程度,是否支持

    • 关键字查询
    • 聚合计算,表达式的丰富程度
    • grouping 计算
    • 多维数据join
  • 性能和规模

    • 数据写入吞吐量能达到多少?TB?PB?
    • 数据计算一次计算能覆盖多大数据量?
  • 实时性

    • 从数据产生,到计算出结果,需要多久?秒级别?是实时的?还是离线的?
    • 实时性和规模是不可调和的。
  • 数据的重要程度

    • 是每天运营的报表?一天算一次?还是要立刻拿到结果?

image.png

日志服务的分析提供哪些能力

日志服务分析语法,提供标准的SQL语法,可以同时使用sls的查询和SQL计算功能。

在API上,支持:

  • 日志服务API
  • JDBC,可对接任意开源JDBC协议客户端。

在功能上:

  • 支持20+类别的函数,共150+函数,覆盖了常用的计算、统计、转换、安全审计功能。
  • 支持可视化展示,可以实时的交互式查询,动态展示结果。

在性能上:

  • 支持TB级别的计算能力。
  • 秒级别内获取结果。

在生态上:

  • 日志服务控制台,提供dashboard,提供线图、饼图、流图等多种类型的视图,对接文档
  • 通过grafana插件连接日志服务,通过grafana可视化展示日志计算结果,对接文档
  • 无缝打通datav,通过datav大屏,展示日志的计算结果,对接文档

开始试用Demo

若你没有账号,可以点击此处试用demo,查看分析功能,或者查看配置的各种仪表盘。

入门之路

日志服务是完全serverless的服务。只需要完成初次的对接,安装好客户端,配置好要采集哪些日志,日志接入参考文档

之后即可在控制台完成分析功能。

image.png

开始使用日志分析之路:

  1. 打开日志服务控制台
  2. 选择对应的project
    image.png
  3. 点击查询,进入查询页面
    i    mage.png
  4. 如果没有开启索引,请打开索引,如果没有没有创建列索引,则无法执行SQL,请在右上角查询分析属性,创建对应的列索引
    image.pngimage.png
  5. 在红框中输入查询条件
    image.png
  6. 查询出结果后,添加到仪表盘
    image.png
  7. 打开仪表盘,查看保存的查询结果
    image.png

进阶之路

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接