201604深圳云栖大会Workshop - 通过用户点击进行热门内容推荐

简介: 通过用户点击进行热门内容推荐 目标 熟悉日志服务的功能,使用场景 通过收集直播网站的日志数据,进行实时数据分析,进行推荐 准备工作 日志服务 日志服务入口地址 步骤 1. 程序日志埋点 在log.php中进行,提供了一个函数,记录用户访问行为日志 在用户实际访问的时候,进行记录

通过用户点击进行热门内容推荐

目标

  • 熟悉日志服务的功能,使用场景
  • 通过收集直播网站的日志数据,进行实时数据分析,进行推荐

准备工作

步骤

1. 程序日志埋点

在log.php中进行,提供了一个函数,记录用户访问行为日志
php_log_code


在用户实际访问的时候,进行记录


php_log_code_2


在log_config.xml中,配置了日志文件位置,默认为:
/tmp/video_log/access.log

2. 启动镜像,自动创建日志服务project和Logstore

开通必要服务

容器服务和日志服务无缝对接,需要开通以下服务:

日志服务

访问控制服务

acs_create_1

如果没有事先开通,则前往日志服务访问控制服务开通,之后点击确定。

acs_create_2

编排镜像配置

在acs的编排模板中(应用->变更配置),加入下面这个label:

labels:
    aliyun.log_store_video_log: /tmp/video_log/access.log

acs_change_1

log_store_${LOGSTORE_NAME}, ${LOGSTORE_NAME}表示是创建LogStore的名字一部分, 在这边是video_log

/tmp/video_log/access.log , 是容器内日志的路径, 和上面对应

acs_change_2

注意修改“应用版本”

3.在日志服务中验证新创建的project和logstore

在日志服务控制台,可以看到新创建的project和logstore, project以'acslog-project'开头, logstore是acslog-${app}-${LOGSTORE_NAME}

sls_project_1

sls_logstore_1

默认情况下,acs会为logstore创建一个logtail的配置,用于收集日志,每行一条日志,不做字段区分,从"Logtail配置管理",进入后可看到:

logtail_config_1

4.更新logtail配置

为了进行日志分析,我们需要对日志内容进行提取,首先,填入日志样子:

2016-03-19T06:26:37+00:00 get_online_msg 45bed72 cnRtcDovL29zc2xpdmVzaG93Lm9zcy1jeHBpcmVzPTE0NTgzNzIzNTgmU2lQkNtQXhRTWw5eWZzSmVPNW92YTh2Q0lEZyUzRA== other_message

选择提取字段, 通过划词可以生成正则表达式:

(\S+)\s(\w+)\s(\w+)\s(\S+).*



定义各个字段名字(由于分析程序依赖这些名字,所有请大家严格按照以下名字命名各个字段):

  • time
  • action
  • user_id
  • video_id
    create_logtail_config_3

最后应用到机器分组,完成配置更新

5. 推荐解析程序配置

log_parser_config

填写使用日志服务的程序入口(深圳region的endpoint是cn-shenzhen.log.aliyuncs.com),以及project和logstore信息。

日志服务入口地址

6. 查看效果

在web页面上,将根据用户访问历史,推荐用户可能喜欢的视频

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
供应链 Cloud Native 安全
|
监控 安全 云栖大会
2018杭州云栖大会企业办公自动化workshop材料汇总
实践活动内容地址如下:1、在控制台使用OSS Select2、基于日志的安全分析实战3、智能媒体管理服务控制台功能体验4、企业办公数据处理和分发(函数计算篇)5、9.20 杭州云栖CloudLab:环境准备
1925 0
2018杭州云栖大会Workshop:基于日志的安全分析实战
2018年9月杭州云栖大会Workshop - 基于日志的高级分析实战:介绍背景、场景和步骤等
2993 0
|
数据采集 监控 应用服务中间件
2018上海云栖大会workshop-日志数据采集与分析对接
日志数据采集与分析对接 课程描述 通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理,程序日志查询与监控,打通日志与数据仓库对接案例。 日志种类 网站访问日志准备步骤 & 依赖 ECS虚拟机(测试账号默认包含,并且访问日志产生) OSSBucket 用做数据仓库,存储日志服.
2533 0
|
存储 监控 大数据
2018上海云栖大会workshop-函数计算解决金融行业异构报文处理示例
在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。
1916 0
|
存储 Serverless 数据处理
2018上海云栖大会workshop-函数计算解决金融异构报文处理示例
在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。
1778 0
|
SQL 中间件 云栖大会
北京云栖大会Tech Insight Workshop:《用分布式事务中间件来保障金融级交易系统的一致性》篇
在本章节中会介绍如何通过引入蚂蚁中间件的分布式事务产品来保证金融级交易系统的一致性问题,并且会分别介绍分布式事务的两种模式:TCC模式和自动模式的使用方式。
3158 1
|
中间件 云栖大会 数据库
北京云栖大会Tech Insight Workshop:《数据访问代理在分布式交易系统中的操作实战》篇
本篇是北京云栖大会Tech Insight Workshop金融云主体《使用SOFA来快速构建金融级分布式交易系统》中的一个组成部分。 通过前面的『使用微服务框架快速构建一个分布式交易系统』为您快速搭建了基于微服务的支付系统,但是随着业务量的不断上涨,单库单表的数据库设计已经不能够满足业务的要求,.
4413 0
|
存储 云栖大会 BI
北京云栖大会workshop:《数据接入:海量数据存储及实时访问》篇
本手册为北京云栖 Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的数据准备部分,介绍使用表格存储完成行为日志采集工作,并提供实时在线查询。
3432 0
|
中间件 Java 云栖大会
北京云栖大会Tech Insight Workshop:《使用微服务框架快速构建一个分布式交易系统》篇
本篇是北京云栖大会Tech Insight Workshop金融云主体《使用SOFA来快速构建金融级分布式交易系统》中的一个组成部分,用来介绍如何通过SOFA Boot来快速构建一个分布式微服务系统,以及如果通过金融云下中间件微服务产品来进行查看与管理。
5885 0

热门文章

最新文章