背景
在数据时代,人、人与物、物与物之间每时每刻都在产生大量的数据,而日志就是其中最有代表性的载体。例如:
- 工作中:访问网站、应用流向访问日志
- 地铁中:在手机应用中看视频、点击产生点击
- 就餐时:支付、订单中的购买行为
- 通勤中:骑着共享单车产生的位置信息与轨迹等等。
与海量的日志产生的,是日益加剧的日志分析需求:
痛点
当我们通过各式各样的工具对海量的日志处理聚合之后,得到一堆数据,随之而来的问题是?
这些数据之间有着什么样的联系?数据和时间之间的关系是什么?人和物品之间的关系如何?
这些都很难直接通过观察来感知,我们需要合适的可视化图表来帮助感知数据背后的价值,例如
- 使用折线图可以直观的感知数据在一个连续的时间跨度中的变化,反映事物随时间或有序类别而变化的趋势
- 饼图可以很好地帮助用户快速了解数据的占比分配
一个有效的方案
如何轻松实现日志可视化?
Grafana 作为一个开源的指标量监测与可视化工具,对实时,准实时数据处理友好,操作简洁。阿里云MVP王鹏翰给出了一个快速而有效的解决方案,并已经加入阿里云官方版本中:
细心的同学应该能发现,阿里云日志服务首页添加了Grafana对接教程。
阿里云日志服务提供了对日志数据基础解决方案,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。其中LogSearch/Analytics功能可以提供1秒10亿查询能力、以及完整SQL92分析语法进行实时分析。在对接可视化上原先以阿里云DataV、QuickBI 以及商业化JDBC软件为主。
阿里云MVP王鹏翰开发的Grafana插件,填补了开源软件对接的空白,通过安装插件+配置可以轻松进行可视化。
Grafana插件的效果:
当然也有操作视频:
详细配置和视频可参见:
贡献者
王鹏翰(WPH95)在加入阿里云MVP之前就一直是一个技术爱好者,成为MVP之后,得到阿里云内部的众多资源,促成了这个开源的插件。并且他还在继续开发新的解决方案Demo,2017年12月19号,北京云栖大会·Tech Insight MVP Demo Show环节,他又将带来新的内容,请大家拭目以待。
日志服务Grafana插件已在AliCloud官方GitHub提供下载,README最后感谢WPH95的贡献!
欢迎一起来发掘新的玩法:
阿里云MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖,阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。
目前正在进行全球招募,已经加入的33位MVP正在持续地和阿里云一起推动产品优化、挖掘解决方案等,欢迎来和我们一起谱写云计算的技术图谱。
点击 快速了解和申请成为阿里云 MVP