MVP 观点 | 轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: Grafana 作为一个开源的指标量监测与可视化工具,对实时,准实时数据处理友好,操作简洁。阿里云MVP王鹏翰给出了一个快速而有效的解决方案,并已经加入阿里云官方版本中

背景

在数据时代,人、人与物、物与物之间每时每刻都在产生大量的数据,而日志就是其中最有代表性的载体。例如:

  • 工作中:访问网站、应用流向访问日志
  • 地铁中:在手机应用中看视频、点击产生点击
  • 就餐时:支付、订单中的购买行为
  • 通勤中:骑着共享单车产生的位置信息与轨迹等等。

与海量的日志产生的,是日益加剧的日志分析需求:

痛点

当我们通过各式各样的工具对海量的日志处理聚合之后,得到一堆数据,随之而来的问题是?

这些数据之间有着什么样的联系?数据和时间之间的关系是什么?人和物品之间的关系如何?

这些都很难直接通过观察来感知,我们需要合适的可视化图表来帮助感知数据背后的价值,例如

  • 使用折线图可以直观的感知数据在一个连续的时间跨度中的变化,反映事物随时间或有序类别而变化的趋势
  • 饼图可以很好地帮助用户快速了解数据的占比分配

一个有效的方案

如何轻松实现日志可视化?

Grafana 作为一个开源的指标量监测与可视化工具,对实时,准实时数据处理友好,操作简洁。阿里云MVP王鹏翰给出了一个快速而有效的解决方案,并已经加入阿里云官方版本中:

细心的同学应该能发现,阿里云日志服务首页添加了Grafana对接教程。

img

阿里云日志服务提供了对日志数据基础解决方案,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。其中LogSearch/Analytics功能可以提供1秒10亿查询能力、以及完整SQL92分析语法进行实时分析。在对接可视化上原先以阿里云DataV、QuickBI 以及商业化JDBC软件为主。

阿里云MVP王鹏翰开发的Grafana插件,填补了开源软件对接的空白,通过安装插件+配置可以轻松进行可视化。

Grafana插件的效果:

img

当然也有操作视频:

详细配置和视频可参见:

可视化-对接Grafana_最佳实践_日志服务-阿里云

贡献者

王鹏翰(WPH95)在加入阿里云MVP之前就一直是一个技术爱好者,成为MVP之后,得到阿里云内部的众多资源,促成了这个开源的插件。并且他还在继续开发新的解决方案Demo,2017年12月19号,北京云栖大会·Tech Insight MVP Demo Show环节,他又将带来新的内容,请大家拭目以待。

日志服务Grafana插件已在AliCloud官方GitHub提供下载,README最后感谢WPH95的贡献!

contributors

欢迎一起来发掘新的玩法:

阿里云MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖,阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。

目前正在进行全球招募,已经加入的33位MVP正在持续地和阿里云一起推动产品优化、挖掘解决方案等,欢迎来和我们一起谱写云计算的技术图谱。

点击 快速了解和申请成为阿里云 MVP

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
21天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
119 9
|
6月前
|
机器学习/深度学习 数据可视化
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
|
2月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
93 3
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
51 1
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
2月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
279 0
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
254 3
|
5月前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
4月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。

热门文章

最新文章