5分钟搭建网站实时分析:Grafana+日志服务实战-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

5分钟搭建网站实时分析:Grafana+日志服务实战

简介: 阿里云日志服务是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。2017年9月日志服务加强日志实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析。

阿里云日志服务是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。2017年9月日志服务加强日志实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析。

在结果分析可视化上,除了使用自带Dashboard外,还支持DataV、Grafana、Tableua、QuickBI等对接方式。本文主要通过一个例子,演示如何通过日志服务对Nginx日志进行分析与可视化。

演示:线上Demo, 配置视频

整体架构

日志从收集到分析的架构如下图:

image.png

主要分3个步骤:

  1. 数据采集,参考文档
  2. 索引设置 与控制台查询,参考索引设置与可视化,或最佳实践中网站日志分析案例
  3. 安装Grafana插件,将实时查询SQL转化为视图

我们主要演示步骤3,在做完1、2步骤后,在查询页面可以看到原始日志:

image.png

对接Grafana

1. 安装grafana

grafana的详细安装文档参见grafana官方文档

以ubuntu为例,安装命令为:

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana_4.5.2_amd64.deb
sudo apt-get install -y adduser libfontconfig
sudo dpkg -i grafana_4.5.2_amd64.deb

为了使用饼状图,我们需要安装Pie chart插件,官方文档,安装命令如下:

grafana-cli plugins install grafana-piechart-panel

2. 安装日志服务插件

首先确认grafana的插件目录在哪里, ubuntu的插件地址在 /var/lib/grafana/plugins/ ,安装好插件后重启grafana-server。

执行一下命令:

cd /var/lib/grafana/plugins/
git clone https://github.com/aliyun/aliyun-log-grafana-datasource-plugin
service grafana-server restart

3. 配置日志数据源

假设是在本机部署,默认是安装在3000端口,在浏览器打开3000端口。

image.png

在左上角点击grafana的logo,在弹出窗口上选择Data Sources:

image.png

点击添加新的DataSource 使用grafana和阿里云日志服务进行日志可视化分析

image.png

各部分配置分别按照如下配置:

  • datasource名称可以自定义,类型选择[LogService] 。
  • Http Setting部分,url输入样例:http://dashboard-demo.cn-hangzhou.log.aliyuncs.com 。dashboard-demo是project名称,cn-hangzhou.log.aliyuncs.com是project所在地域的endpoint,在配置自己的数据源时,需要特别的替换成自己的project和region地址。endpoint选择内网还是外网,取决于access的配置。Access可以选择Direct,也可以选择Proxy。如果选择Direct,表示从浏览器直接发送请求,需要添加外网endpoint。如果选择proxy,则从grafana部署的机器跳转,如果grafana部署在ecs上,则可以通过内网连接。
  • Http Auth部分,采用默认配置即可。
  • log service details,日志服务详细配置,分别填写project,logstore,以及具备读取权限的accessKey,accessKey可以是主账号的accessKey,也可以是子帐号的accessKey。

配置完成后点击Add,即可完成添加dataSource。接下来添加dashboard。

4. 添加dashboard

在左上角菜单中新加一个dashboard:点击左上角菜单,依次点击Dashboards, New:

image.png

4.1 配置模板变量

在grafana中可以配置模板变量,在同一个视图中,通过选择不同的变量值,展示不同的视图,在本文中,我们配置每个时间区间的大小,以及不同域名的访问情况。

image.png

点击页面上方设置图标,然后点击Templating,

image.png

在当前页面,会显示出已经配置的模板变量,点击New, 创建新的模板

image.png

我们首先配置一个时间区间,变量的名称是我们在配置中使用的变量,在这里起名为myinterval, 在查询条件中,要写成$myinterval ,会自动替换成页面选择的模板值。

image.png

我们再配置一个域名模板,通常我们在一个vps上可以挂载多个域名,那么我们需要查看不同域名的访问情况,在模板值中,我们输入
*,www.host.com,www.host0.com,www.host1.com, 表示我们可以查看所有域名,也可以分别只查看www.host.com或者www.host0.com或者www.host1.com的访问情况。

配置完成后,可以在dashboard页面上方看到刚才配置的模板变量,通过下拉框可以选择任何一个值。例如time interval,所有可选的值如下:

image.png

配置动态的Query template,可以从查询中动态的获取结果。要使用query template,请参考下图进行配置,数据源选择日志服务的数据源,在query条件中,SQL保证只输出一列结果。

4.2 配置PV,UV

点击左侧ADD ROW,新建一行图表:

image.png

如果已经有一行row了,可以在左侧的弹出式菜单里选择Add Panel:

image.png

grafana可以支持多重类型的视图,对于PV,UV数据,在这里我们创建一个Graph视图:

image.png

点击Pannel Title,在弹出的窗口中点击Edit:

image.png

在Metrics配置中,选择datasource为logservice,输入Query,Y轴和X轴:

image.png

dataSource下拉框中选择之前配置的:logService

Query输入:

$hostname| select approx_distinct(remote_addr) as uv ,count(1) as pv ,__time__-__time__%
$$
myinterval  as time group by time  order by time limit 1000

上述query中的$hostname,在实际展示时,会替换成用户选择的域名。

$$ myinterval,则会替换成时间区间,注意myinterval前有两个$符号,而hostname有一个。 Y-Column输入:

uv,pv

X-Column输入:

time

UV PV的值相差比较大,我们需要用两个Y轴来展示,在图标下方,点击uv左侧有颜色的线,可以选择uv是在左Y轴显示,还是在右Y轴显示:

image.png

标题需要视图,默认是Panel Title,点击General, 可以修改Title:

image.png

4.3 配置出入网带宽

同样的方法,我们添加出入网带宽的流量:

image.png

输入 query:

$hostname | select sum(body_byte_sent) as net_out, sum(request_length) as net_in  ,__time__ -__time__% 
$$
myinterval  as time group by time limit 10000

输入Y-Column:

net_in,net_out

输入X-column:

Time

4.4 不同HTTP方法的占比

新建一个Row,视图选择Pie Chart

image.png

在配置中输入Query, 和x,y轴
image.png

Query输入:

$hostname | select count(1) as pv ,method group by method

Y-column输入:

method,pv

对于所有的饼状图,X-column输入固定值:

pie

4.5 不同HTTP状态码占比

同上,新建一个Row,视图选择Pie Chart:

image.png

Query输入:

$hostname | select count(1) as pv ,status group by status

Y-column输入:

status,pv

X-column输入:

pie

4.6 热门来源页面

同上,新建一个Row,视图选择Pie Chart:

image.png

Query输入:

$hostname | select count(1) as pv , referer  group by referer order by pv desc

Y-column输入:

referer,pv

X-column输入:

pie

4.7 延时最高页面

为了以表格形式展示url和对应的延时,我们创建时,指定Table这种视图:

image.png

image.png

Query 输入:

$hostname | select url  as top_latency_url ,request_time order by request_time  desc limit 10

Y-column输入:

top_latency_url,request_time

X-column不填写内容。

4.8 热门页面

同上,新加一个表格视图:

image.png

Query输入:

$hostname | select count(1) as pv, split_part(url,'?',1) as path  group by path order by pv desc limit 20

Y-column输入:

path,pv

X-column保留空

4.9 非200请求top页面

同上,新建一个表格视图:

image.png

Query输入:

$hostname not status:200| select count(1) as pv , url  group by url order by pv desc

Y-column输入:

url,pv

X-column保留空

4.10 前后端平均延时

新建一个Graph视图:

image.png

Query输入:

$hostname | select avg(request_time) as response_time, avg(upstream_response_time) as upstream_response_time  ,__time__ - __time__ % 
$$
myinterval  as time group by time  limit 10000

Y-column输入:

upstream_response_time,response_time

X-column输入:

time

4.11 客户端统计

新建一个饼图:

image.png

Query输入:

$hostname | select count(1) as pv, case when  regexp_like(http_user_agent , 'okhttp') then 'okhttp' when  regexp_like(http_user_agent ,  'iPhone') then 'iPhone' when regexp_like(http_user_agent ,  'Android')  then 'Android' else 'unKnown' end as http_user_agent group by  http_user_agent order by pv desc limit 10  

Y-column输入:

http_user_agent,pv

X-column输入:

pie

4.12 各省份占比统计

image

选择pie视图:

Query输入:

*| select ip_to_province(remote_addr) as province, count(1) as pv group by province order by pv desc  limit 10

Y-Column输入:

province,pv

X-column输入:

pie

4.13 保存和发布dashboard

点击页面上方的保存按钮,发布dashboard:

image.png

大功告成

打开dashboard首页查看效果,demo地址

在页面上方,可以选择统计的时间范围,也可以选择统计的时间粒度,或者选择不同的域名。

image.png

这样整个nginx访问统计的dashboard就完成了,我们可以从视图中挖掘有价值的信息。

image.png

更多精彩内容

十分钟构建双十一交互分析大盘
日志服务用户手册,最完整的资料
日志服分析Demo,Nginx日志、CDN日志、DDOS日志、SLB日志Demo,grafana、Datav大屏Demo
自建ELK和日志服务全方位对比
通过jdbc查询和可视化日志
10.11杭州Clouder lab 十分钟搭建共享应用 2:如何通过日志服务实现用户的日志收集与分析
10分钟精通Nginx访问日志分析统计

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接