【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 前几天在云栖社区上写了一篇普惠性的文章很粗偏向数据架构层面。具体可以进入【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析但是在具体实操中肯定不会那么一帆风顺。为了避免大家走弯路特意先写了一篇架构篇以免大家后续发现不适用而更改或优化工作。 本文

前几天在云栖社区上写了一篇普惠性的文章,很粗偏向数据架构层面。具体可以进入:【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析,但是在具体实操中肯定不会那么一帆风顺。为了避免大家走弯路特意先写了一篇架构篇,以免大家后续发现不适用而更改或优化工作。


本文偏向与实操层面的为大家介绍,如何基于阿里云数加StreamCompute、DataV快速构建网站日志实时分析。


【什么场景适合用流计算】

流计算提供了针对流式数据实时分析的一站式工具链,对于大量流式数据存在实时分析、计算、处理的逻辑可以考虑通过流计算该任务。举例如下:


1. 针对实时营销活动,需要实时获取活动流量数据分析以了解活动的营销情况,此时可以上流计算。

2. 针对物联网设备监控,需要实时获取设备数据进行实时灾难监控,此时可以上流计算。

3. 对于手机APP数据实时分析,需要实时了解手机设备的各类指标情况,此时可以上流计算


【使用前须知】

为保障本教程的顺利的进行,须知晓如下使用前提:

  • 具备阿里云账号(淘宝及1688帐号可直接使用会员名登录);
  • 下载并安装Logstash的DataHub Output插件。
  • 开通DataHub/StreamCompute/AnalyticDB或RDS/DataV产品;


【实现的业务场景】

数据来源于某网站上的HTTP访问日志数据,基于这份网站日志来实现如下分析需求:

  • 实时统计并展现网站的PV和UV,并能够按照用户的终端类型(如Android、iPad、iPhone、PC等)分别统计。
  • 实时统计并展现网站的流量来源。
  • 从IP中解析出region或者经纬度在地图上进行展示。


【说明】浏览次数(PV)和独立访客(UV)是衡量网站流量的两项最基本指标。用户每打开一个网站页面,记录一个PV,多次打开同一页面PV 累计多次。独立访客是指一天内,访问网站的不重复用户数,一天内同一访客多次访问网站只计算1 次。Referer 可以分析网站访问来源,它是网站广告投放评估的重要指标,还可以用于分析用户偏好等。


【操作流程概述】


e811b495d2e7931a66c8c99817ca993565fd2993



如上图所示,红色箭线部分为流式数据处理部分,主要拆解如下:

l  配置Logstash,将网站产生的日志实时采集至DataHub。

l  申请开通DataHub,创建项目Project及Topic(DataHub服务订阅和发布的最小单位)。

l  开通StreamCompute,创建项目Project及注册数据输入源(DataHub)和输出源(RDS),并创建流任务(Stream SQL任务)。

l  上一步骤中关于输出源RDS的配置,需要事先购买RDS for Mysql资源。

l  申请开通DataV,新建RDS数据源并创建DataV项目进入大屏制作。

【数据结构设计】


8a6f583cae191f3affccfefbf32bc8e1a0139838

  • DataHub Topic: 分别创建Topic为:coolshell_log_trackercoolshell_log_detailcoolshell_log_fact
  • 244b93b2b071e6f351c9903ffec943a93b08299c
  • RDS:分别创建Table为: adm_refer_info、 adm_user_measures、 flyingline_coordinates  。

【网站日志实时解析】

Logstash安装与配置

配置前须知

阿里云流计算为了方便用户将更多数据采集进入DataHub,提供了针对Logstash的DataHub Output插件。

Logstash安装要求JRE 7版本及以上,否则部分工具无法使用。


操作步骤

步骤1      点击下载Logstash 2.4.1,点击下载

步骤2      通过如下命令解压即可使用:

      $ tar -xzvf logstash-2.4.1.tar.gz

      $ cd logstash-2.4.1

步骤3      下载DataHub Logstash Output插件并使用如下命令进行安装:

$ {LOG_STASH_HOME}/bin/plugin install --local logstash-output-datahub-1.0.0.gem

步骤4      下载GeoIP解析IP数据库到本地。

wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz

步骤5      解压到当前路径并移动到Logstash具体路径下。


gzip -d GeoLiteCity.dat.gz
mv GeoLiteCity.dat /etc/logstash/.


步骤6      配置Logstash任务.conf,示例如下:


input {

    file {

        path => "/Users/yangyi/logstash-2.4.1/sample/coolshell_log.log"

        start_position => "beginning"

    }

}

 

filter{

    grok {

        match => {

           "message" => "(?<ip>[^ ]*) - (?<user>[- ]*) \[(?<accesstime>[^\])*]\] \"(?<method>\S+)(?: +(?<url>[^\"]*?)(?: +\S*)?)?(?: +(?<protocol>[^\"]*))\" (?<status>[^ ]*) (?<byte_cnt>[^ ]*) \"(?<referer>[^\"]*)\" \"(?<agent>[^\"]*)\""

        }

}

    geoip {

        source => "ip"

        fields => ["city_name","latitude", "longitude"]

        target => "geoip"

        database => "/Users/yangyi/logstash-2.4.1/bin/GeoLiteCity.dat"

        add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

        add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]

    }

    mutate {

        add_field=>{"region" => "%{[geoip][city_name]}"}

        add_field=>{"coordinates" => "%{[geoip][coordinates]}"}

        add_field=>{"x" => "%{[geoip][longitude]}"}

        add_field=>{"y" => "%{[geoip][latitude]}"}

        convert => [ "x", "float" ]

        convert => [ "y", "float" ]

        #convert => [ "coordinates", "float" ]

    }

ruby{

    code => "

    md = event.get('accesstime')

    event.set('dt',DateTime.strptime(md,'%d/%b/%Y:%H:%M:%S').strftime('%Y%m%d'))

    "

  }

}

 

output {

    datahub {

        access_id => "输入您的access_id"

        access_key => "输入您的access_key"

        endpoint => "需要根据自己的网络情况输入对应的endpoint"

        project_name => "输入您的DataHub Project名称"

        topic_name => "输入您对应的DataHub Topic"

        #shard_id => "0"

        #shard_keys => ["thread_id"]

        dirty_data_continue => true

        dirty_data_file => "/Users/yangyi/logstash-2.4.1/sample/dirty.data"

        dirty_data_file_max_size => 1000

    }

}


配置文件为coolshell_log.conf。具体DataHub Topic信息可详见 数据存储 章节。

步骤7      启动任务示例如下:


 bin/logstash -f sample/coolshell_log.conf



【数据表创建】

附RDS创建表DDL:



---创建adm_refer_info---
 CREATE TABLE IF NOT EXISTS adm_refer_info(referer VARCHAR(32) PRIMARY KEY, referer_count BIGINT);
 
--创建adm_user_measures--
 CREATE TABLE IF NOT EXISTS adm_user_measures(device VARCHAR(32) PRIMARY KEY, pv BIGINT,uv BIGINT);
 
--创建adm_region_measures --
CREATE TABLE `adm_region_measures` (
  `region` varchar(32) NOT NULL,
  `region_cnt` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`region`)
)
 
--创建adm_region_measures --
CREATE TABLE `adm_region_measures` (
  `region` varchar(32) NOT NULL,
  `region_cnt` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`region`)
)
 
--创建flyingline_coordinates --
CREATE TABLE `flyingline_coordinates` (
  `city_name` varchar(32) DEFAULT NULL,
  `coordinates` varchar(50) DEFAULT NULL,
  `x` double DEFAULT NULL,
  `y` double DEFAULT NULL
)



【流式数据处理】

注册数据存储包括DataHub和RDS:

3e25319a718133b509a1235e0cb9cc268d0e28cf


按照数据链路图中来编写处理逻辑(附核心代码):


【处理逻辑1】

9869ddeceeb8eba15ce71bff8ee023b68e3c16fa

INSERT INTO coolshell_log_detail SELECT
    ip,
    accesstime,
    method,
    url,
    protocol,
    status,
    byte_cnt,
    regexp_extract(referer, '^[^/]+://([^/]+){1}') as referer,
    agent,
    CASE
            WHEN TOLOWER(agent) RLIKE 'android' THEN 'android'
            WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
            WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
            WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
            WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
            WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
            ELSE 'unknown'
     END AS device,
     CASE
            WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
            WHEN TOLOWER(agent) RLIKE 'feed'
            OR url RLIKE 'feed' THEN 'feed'
            WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
            AND agent RLIKE '^[Mozilla|Opera]'
            AND url NOT RLIKE 'feed' THEN 'user'
            ELSE 'unknown'
     END AS identity
     FROM coolshell_log_tracker
       WHERE url NOT LIKE '^[/]+wp-';   

【处理逻辑2】


INSERT INTO coolshell_log_fact select
    md5(concat(ip, device, protocol, identity, agent)),--根据ip、device、protocol、identity和agent字段可以唯一确定uid
    ip,
    accesstime,
    method,
    url,
    protocol,
    status,
    byte_cnt,
    referer,
    agent,
    device,
    identity
    FROM coolshell_log_detail;

【处理逻辑3、4、5、6】



---adm_refer_info中的处理逻辑---
REPLACE INTO adm_refer_info SELECT
    referer,
COUNT(referer) as referer_count
FROM coolshell_log_fact
WHERE LENGTHqi(referer) > 1
GROUP BY referer;

--adm_user_measures中的处理逻辑---
REPLACE INTO adm_user_measures SELECT
    device,
    COUNT(uid) as pv,
    COUNT(distinct uid) as uv
    FROM coolshell_log_fact
    GROUP BY device;


附录:adm_region_measures和flyingline_coordinates处理逻辑
REPLACE INTO adm_region_measures SELECT
    CASE 
		WHEN region='%{[geoip][city_name]}' THEN 'unknown'
		WHEN region!='%{[geoip][city_name]}' THEN region
		END AS region,
count(region) FROM coolshell_log_tracker_bak
GROUP BY region;


INSERT INTO flyingline_coordinates
SELECT CASE 
		WHEN region='%{[geoip][city_name]}' THEN 'unknown'
		WHEN region!='%{[geoip][city_name]}' THEN region
		END AS region,
		coordinates,x,y FROM coolshell_log_tracker_bak where coordinates is NOT NULL;

【上线Stream SQL】
4c761edd8ad97161e268260bd3ef5954df5a8ea9


上线任务后需要对任务进行启动:
31aaf5a1645d752bf46b80964d4ba2b75370b2bb

【创建大屏】
现在DataV中创建RDS数据源:
57a74f5237feda724ba2eda60c54e28de1367801

然后根据如下拖拽如组件配置简单的sql:
e4fb3549f5d41fae8c6f9ff70ebffb45d336d1eb

本文主要讲述了实时场景的链路,后续也会将日志归档到MaxCompute然后通过Quick BI进行报表分析。敬请期待!

最后给大家推荐一个在线的正则debug工具: http://grokdebug.herokuapp.com/
522f57eb6a47664cf4b4224b10fbdb1271b4ef34
相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
目录
相关文章
|
6天前
|
弹性计算 安全 Java
如何正确使用阿里云部署企业门户网站指南
**阿里云云效部署企业门户概览** - 云效平台助力高效、可靠的门户网站云端部署,集成持续集成/发布。 - 技术架构包括:备案域名、ECS服务器、VPC、云效代码仓库、流水线、云解析DNS。 - 一键部署10分钟内完成,先备ECS,后备案。 - 注册阿里云账号,充值,按流程创建资源栈,配置流水线,导入源码,设置部署任务。 - 域名备案是必要步骤,需提交资料并完成实名认证。 - 云效文档全面,适合初学者,反馈机制提升体验。 [查看完整教程以获取详细步骤和最佳实践]
41 1
|
8天前
|
弹性计算 人工智能 运维
60分钟深度测评阿里云基于大模型构建的操作系统智能助手
OS Copilot 概要 OS Copilot 是阿里巴巴云针对Linux操作系统开发的智能助手,集成在Alibaba Cloud Linux中,利用大模型技术提供自然语言问答、命令行辅助、阿里云CLI调用和系统运维功能。它尤其适合新手,直观的交互方式提升效率。此外,OS Copilot支持在操作系统内直接管理阿里云资源,简化运维任务。目前,该助手仅在特定版本的Alibaba Cloud Linux上可用。体验者可以通过提供的链接和指南进行实操,体验其功能,如命令行的自然语言交互和环境变量配置。OS Copilot在提高用户体验和工作流集成方面的创新,预示着未来AI在操作系统中的广泛应用。
|
19天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
19天前
|
前端开发 测试技术 API
阿里云云效产品使用问题之在流水线的构建任务中,如何安装并运行Jest
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
阿里云云效产品使用问题之在流水线的构建任务中,如何安装并运行Jest
|
19天前
|
前端开发 Java Serverless
阿里云云效产品使用问题之前端流水线部署时,在构建环节,编译和打包要分开还是放在一起
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
18天前
|
弹性计算 安全 前端开发
阿里云服务器ECS通用型、计算型和内存型详细介绍和性能参数表
阿里云ECS实例有计算型(c)、通用型(g)和内存型(r)三种,主要区别在于CPU和内存比例。计算型CPU内存比1:2,如2核4G;通用型为1:4,如2核8G;内存型为1:8,如2核16G。随着技术迭代,有第五代至第八代产品,如c7、g5、r8a等。每代实例在CPU型号和主频上相同,但性能有所提升。实例性能参数包括网络带宽、收发包能力、连接数等。具体应用场景如计算型适合高网络包收发、通用型适合企业级应用,内存型适合内存数据库等。详细信息可参阅阿里云ECS页面。
126 0
|
2天前
|
运维 安全 数据挖掘
阿里云轻量应用服务器82元和298元与云服务器99元和199元简介
目前阿里云推出了几款价格极为实惠的轻量应用服务器和云服务器产品,轻量应用服务器有2核2G3M 50GB高效云盘,价格为82元1年;2核4G4M 60GB高效云盘,价格为298元1年;经济型e实例2核2G,40G ESSD Entry盘,3M带宽,价格为99元1年;通用算力型u1实例2核4G,80G ESSD Entry盘,5M带宽,价格为199元1年。这几款云服务器究竟如何?本文将为您进行详细分析,以供参考。
阿里云轻量应用服务器82元和298元与云服务器99元和199元简介
|
7天前
|
存储 关系型数据库 数据库
给阿里云的建议和意见 一个云服务器架构是否可行
摘要(Markdown格式): 在修复阿里云服务器IPv4设置错误时遇到困难,导致服务器远程登录失败及外网访问受阻,耗时三天解决。建议阿里云更新文档,确保设置指导与实际情况一致,例如只需在路由表添加条目关联IPv4。此外,建议优化帮助页面,如采用折叠式设计减少干扰。服务器主要任务是数据分析、存储和分发,文中提出简化服务器框架,消除硬件软件复杂配置,利于初学者和独立开发者快速上手,降低时间成本。该设计旨在减少无用组件,节省资源,同时降低云服务商的人力和支持成本。期望云服务商考虑此类架构创新。目前未知是否有类似产品,期待业界反馈。
374 0
给阿里云的建议和意见 一个云服务器架构是否可行
|
9天前
|
存储 编解码 网络协议
阿里云服务器计算型和通用型四代云服务器实例区别及选择参考
目前阿里云在售的云服务器中,计算型和通用型实例规格都包含了第5代、第6代、第7代和最新第八代倚天云服务器产品,例如计算型实例中有c5、c6、c7、c8y实例,而通用型实例有g5、g6、g7、g8y等实例,有的新手用户并不清楚这四代产品之间的差别,本文为大家展示这四代云服务器实例在规格、CPU(核)、内存(G)、计算、存储、内存以及不同配置的指标数据等方面为大家做个对比,让大家了解一下他们之间的不同,以供参考和选择。
阿里云服务器计算型和通用型四代云服务器实例区别及选择参考
|
13天前
|
存储 缓存 安全
阿里云服务器实例规格选择参考:经济型、通用算力型、计算型、通用型、内存型区别
当我们在通过阿里云的各种活动选择云服务器实例规格的时候会发现,相同配置的云服务器往往有多个不同的实例可选,而且价格差别也比较大,这会是因为不同实例规格的由于采用的处理器不同,底层架构也有所不同(例如X86 计算架构与Arm 计算架构),因此不同实例的云服务器其性能与适用场景是有所不同。目前阿里云的活动中,主要的实例规格可分为经济型、通用算力型、计算型、通用型、内存型,对于很多初次接触阿里云服务器的用户来说,了解他们之间的差别就是比较重要的了,下面小编来为大家简单介绍下它们之间的区别。
阿里云服务器实例规格选择参考:经济型、通用算力型、计算型、通用型、内存型区别