通过日志服务采集、分析日志

(ETA: 20 分钟)

目标

1. 掌握阿里云日志服务基本功能
2. 成功收集Docker中日志，利用EMR（Spark Streaming，Hive）进行日志分析

准备工作

• 产品基本介绍(链接)

• 注意事项：

  • 日志服务当前免费使用，无耗费
  • Docker运行集群会产生费用

步骤1:收集容器、云主机日志

Logtail是Linux、Windows客户端，无需代码就能便捷完成日志收集工作，下面我们会演示如何收集Docker中WordPress日志数据。

1. 收集wordpress访问日志，打开日志服务控制台，点击右上角"创建项目"，在这里我们可以创建yunqi-wordpress项目。当名字被占用后，请更换一个项目名
2. 在项目下创建日志库（logstore），例如: wordpress-accesslog

   

3. 日志服务提供两种方式进行日志收集：通过API或Agent（Logtail），这里我们演示客户端的流程

   1. 选择linux服务器

   2. 我们的日志位于"/var/log/wordpress.log"，因此分别填写父目录，以及日志文件路径

      • 父目录: /var/log
      • 文件路径：wordpress.log

   3. 在服务器中添加Wordpress中访问日志，可以点击常见样例中的__示例四：WordPress默认日志格式__进行参考。WordPress访问日志如下:

      172.64.0.2 - - [07/Jan/2016:21:06:39 +0800] "GET /wp-admin/js/password-strength-meter.min.js?ver=4.4 HTTP/1.0" 200 776 "http://wordpress.c4a1a0aecdb1943169555231dcc4adfb7.cn-hangzhou.alicontainer.com/wp-admin/install.php" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36"

   4. 点击生成行首正则表达式

      行首正则表达式为了区分换行部分属于本行、还是换行日志，例如我们认为以ip开头的是独立的日志

   5. 指定日志解析正则表达式。Logtail 提供本地结构化功能，用户可以生成在客户端对日志进行切分。如果不需要，也可将整条日志作为一个Key、Value进行切分

      • 通过正则表达式将文本进行切分，在收集端对日志进行切分对于格式固定的日志，能够减少后期分析的代价，用户也可以将整条日志一并发送到Server端进行处理。可以在刚才打开的常见样例中的__示例四：WordPress默认日志格式__直接复制。

        (\S+) - - \[([^\]]*)] "(\S+) ([^"]+)" (\S+) (\S+) "([^"]+)" "([^"]+)"

      • 对每一个切分单元提供标签,例如

        | Key | Value |
        |-----|-------|
        | ip  | 127.64.0.2| 
        | time  | 07/Jan/2016:21:06:39 +0800 |
        | method | GET |
        | url | /wp-admin/js/password-strength-meter.min.js?ver=4.4 HTTP/1.0 |
        | status | 200 |
        | length | 776 |
        | ref      | http://wordpress.c4a1a0aecdb1943169555231dcc4adfb7.cn-hangzhou.alicontainer.com/wp-admin/install.php |
        | user-agent | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36 |
        

      __注意__:Key列表中需要包含__time__字段，以让系统识别日中中时间

   6. 配置完成后，需要添加机器组，并应用配置使得收集生效

   7. 创建一个机器组“wordpress-group"，填写需要收集日志机器内网IP至机器组

      • 内网IP获取方法：打开容器服务控制台，集群->集群名称/ID->配置信息->内网IP

        

   8. 大功告成！一分钟内日志收集配置就会生效，开始收集实时日志数据

      __提示__:可以通过项目中"机器组管理" 查看状态，以验证是否生效。如果状态是Fail，请根据提示排查

      

4. 点击"日志消费"->"预览"既可以顺序浏览指定Shard中日志数据。

   为了加快日志产生速度，我们可以尝试在wordpress中发帖，回复，浏览等以产生访问日志

   

步骤2:消费日志数据(实时分析、日志查询、日志投递）

日志服务与多个下游产品进行集成，可以实时、离线、批量消费日志数据。以下我们演示实时分析、以及查询两个场景。

1. 实时消费: 我们启动Dashboard应用演示对博客日志实时分析效果

   1. 打开容器服务控制台，选择编排模板->yunqi-wordpress-view->创建应用。

   

   2.选择创建名为"yunqi-wordpress-view-default"应用，部署在"yunqi-test"集群中

   3.点击菜单中的服务, "wordpress-view", 访问端点打开应用

   

   4.该应用通过实时读取日志服务中的日志，统计博客访问情况，各参数如下:

   • LogService服务地址: http://cn-hangzhou.sls.aliyuncs.com/ (默认无需修改)
   • AccessKeyId/AccessKey: 在AK页面上可以获得

   • Project/LogStore：收集wordpress访问日志的Project, Logstore

     5.点击刷新、发表一些博客，看看日志实时分析的结果:

   

2. 日志查询: LogSearch提供了对日志索引，支持基于关键词的查询。

   1. 回到Project，对wordpress-accesslog日志库__日志消费模式__下__日志索引__点击创建，对需要查询的字段建立索引

   

   1. 一分钟内配置生效，既可进行日志查询

   

3. 离线消费

   1. 日志服务可以将日志投递至OSS、ODPS进行离线计算，感兴趣可以点击日志投递进行了解

补充材料

1. 日志服务：针对日志垂直场景的一站式服务，在阿里巴巴集团内部被广泛使用，参见介绍页面
2. 项目（Project） : 每个项目具有唯一的地址和名字，提供唯一的访问地址

3. 日志库（Logstore） :

   • 日志库是日志管理单元，在项目下唯一。例如应用有access-log, click-log, error-log等三种日志，我们就可以创建三个logstore。
   • 日志库提供48小时临时存储，用户可以实时消费48小时内任意区间的日志文件，如果需要更长时间存储，可以投递到OSS、ODPS，或建立索引进行查询
4. Logtail：收集日志客户端，参考

5. 除杭州外其他Region需要修改地方：

   1. wordpress资源编排模板environment:- log_region=cn_hangzhou，改为对应Region，如cn_shenzhen
   2. 实时消费程序LogService服务地址: http://cn-hangzhou.sls.aliyuncs.com/ 改为对应Region，如 http://cn-shenzhen.sls.aliyuncs.com/