2018上海云栖大会workshop-日志数据采集与分析对接-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

2018上海云栖大会workshop-日志数据采集与分析对接

简介: 日志数据采集与分析对接 课程描述 通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理,程序日志查询与监控,打通日志与数据仓库对接案例。 日志种类 网站访问日志准备步骤 & 依赖 ECS虚拟机(测试账号默认包含,并且访问日志产生) OSSBucket 用做数据仓库,存储日志服.

日志数据采集与分析对接

课程描述

通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理,程序日志查询与监控,打通日志与数据仓库对接案例。

日志种类

  • 网站访问日志

准备步骤 & 依赖

  • ECS虚拟机(测试账号已默认创建虚拟机-ECS控制台
  • OSSBucket

    • 用做数据仓库,存储日志服务同步的各类数据
  • RAM服务

    • 生成RAM角色用于同步日志数据至OSSBucket

操作步骤

  • 日志采集配置

    • 登陆日志服务控制台,选择华东1创建日志服务project,其中Project名称全局唯一,建议名称加上登陆账号前缀进行区别
      创建Project.png

_Logstore_

  • 创建logstore存储访问日志
    Logstore名称.png
  • 向导创建NGINX日志采集
    接入数据向导.png

向导-1.png

  • 配置文件路径(/var/log)和文件名称(access_log),其中NGINX日志配置为:

    log_format web_site_com '"$remote_addr" "$remote_user" "[$time_local]" "$request" ' 
        '"$status" "$body_bytes_sent" "$http_referer" "$http_user_agent" "$host" '
        '"$http_x_forwarded_for" "$request_time" "$request_length" "$remote_port" ' 
        '"$upstream_response_time"';

    向导-2.png

  • 创建机器组(打开ECS控制台获取机器IP地址)
    ECS机器.png

向导-3.png

  • 开启日志分析
    向导-5.png
  • 开启数仓同步
    OSSWizard.png

    • 打开OSS控制台,可以看到一个以workshop名称开头的bucket,复制名称至“OSS Bucket”输入框
      OSSBucket.png
    • 授权日志服务同步数据至OSS(点击授权链接
      grant.png
    • 获取RAM角色名称(点击链接
      角色名称.png
    • 指定OSSBucket同步指定日志数据(其中可填入字段名称包括:request_method,request_time,remote_addr,request_length,http_user_agent等在查询页面看到的所有字段)
      OSS.png
  • 日志查询分析

    • 根据关键词查询访问日志
      日志查询.png
    • 分析统计NGINX访问日志(预置仪表盘使用:包含地图/各类基本图形等)
      日志仪表盘.png
  • 数仓同步

    • 等待1-2min后,可以在OSS中看到生成的数据目录
      OSS数据.png

实验耗费

  • ECS虚拟机
  • 日志服务
  • OSS存储

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接