日志服务+流计算+RDS 统计网站访问日志

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近流计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏?请看本期云享团分享。
本期分享专家:黄莉娟,具有多年前端开发经验,曾就职于天基,在阿里云从事大数据产品、日志服务、消息产品的技术支持,喜欢研究新技术分享新产品。我的口号“我就爱玩新产品!别叫我停下来”
b2afd431f16e95521ffa820d91a6f0618813e820
众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近流计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏,在思考了四分之一柱香之后,我决定写一个先有鸡还是先有蛋的故事。
是的,写个自己统计自己访问日志的网站,是不是为了做demo完全不要节操!
这个demo很适合初学者!

step 1、准备工作日志生成过程

首先把/etc/nginx/nginx.conf 配置一下,搞个跳转
location / {
proxy_pass http://127.0.0.1:3000;
}

一会3000这个端口我们用nodejs起个http server,这样访问根目录就跳转到我的nodejs网站了,为了要个nginx的日志,我不择手段,为什么要统计nginx日志呢,因为有个现成的介绍,不会的请戳这里https://help.aliyun.com/document_detail/28988.html

配置好以后,sls的控制台看,日志长这样

4aa615e27fb00c1a7c9ca6d8f8cdfe5b801027e6

step 2、在RDS建结果表

然后我们用流计算把日志服务的数据挖出来丢到rds,网站读rds搞点图图粗来,刷一下rds变一下,是不是很想给我的脑袋来上一枪!

先给rds建两张表,我们会把结果放在这两张表里,统计日志的网站读这两张表就行了。为了方便简单两张表建一样的格式好了。
CREATE TABLE `sls_event` (
  `time` int(11) NOT NULL DEFAULT '0',
  `event_type` char(32) NOT NULL DEFAULT '',
  `event_value` char(128) NOT NULL DEFAULT '',
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`time`,`event_type`,`event_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `sls_status` (
  `time` int(11) NOT NULL DEFAULT '0',
  `event_type` char(32) NOT NULL DEFAULT '',
  `event_value` char(128) NOT NULL DEFAULT '',
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`time`,`event_type`,`event_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


step 3、使用流计算计算日志数据并输出到RDS表

开通流计算,开通好以后,可以看见控制台长这样:

6901da3b7b39e12ac28beb934b56ebb981eb13d7
把里面sql抠出来放在这:

---------------------------------------我是stream sql的分割线-------------------------------------------------------

--1.首先定义下数据源的表,这里我们用type='loghub',直接就能把loghub中的数据读出来

CREATE STREAM TABLE source_test_sls_galaxy (ip STRING, status INT, request STRING,refer STRING,user_agent STRING ) 
WITH ( type='loghub', endpoint='http://project_region.log.aliyuncs.com', accessId='!@#$',accessKey='@#$%', projectName='#$$%%', logstore='!@#$%' );

--2.然后定义个两个RDS的表type='mysql' 作为输出结果表

CREATE RESULT TABLE sls_event (
time                INT,
event_type          STRING,
event_value         STRING,
value               INT
) WITH (
type='mysql',
url='jdbc:mysql://@#$%:3306/@$$%',
username='@#$%',
password='@#$%',
tableName='sls_event'
);

CREATE RESULT TABLE sls_status (
time                INT,
event_type          STRING,
event_value         STRING,
value               INT
 ) WITH (
type='mysql',
url='jdbc:mysql://@#$%:3306/@$$%',
username='@#$%',
password='@#$%',
tableName='sls_event'
);

-- 3. 定义下计算逻辑

INSERT INTO sls_event select
   prop_get('__time__') as time,
   'pv' as event_type,
   'get' as event_value,
   COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__');

INSERT INTO sls_status select
   prop_get('__time__') as time,
   'status' as event_type,
   status as event_value,
   COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__'),status;

---------------------------------------我还是stream sql的分割线-------------------------------------------------------

注意下!!!sql里面我用了 prop_get('__time__'),这个是loghub的系统字段时间__time__,必须通过消息属性传递进来,普通的日志服务的key写在数据源的表就可以了,系统字段不用写,配置下任务参数,直接用,可以参考下http://gitlab.alibaba-inc.com/galaxy/galaxy/wikis/prop-functions

任务参数这么写:
galaxy.input.props.keylist=timestamp,__time__
截个图。最后一行红圈圈是我加的:

2bb21d0d84662a0ddfb0a1e49a2fd2bad9f3f0f3

然后轻轻的点击下“上线”,上线成功后,再轻轻的点击下“运维”,进去把任务启动起来。

启动好之后,看起来是酱紫滴,输入RPS是有东西的。当然之所以有输入,是因为我访问了一下我的网站了~~
8a059e7fcd8ad886b8555e2d84b977c6e8488016


step 4、在网站上的展示效果,刷一刷就会看到变化

来刷刷我们的网站,就是我用nodejs启动的在3000端口,nginx配置了跳转的那一个咯。

-- 先看看网站的PV统计,是流计算的这句sql搞出来的
INSERT INTO sls_event select
prop_get('__time__') as time,
'pv' as event_type,
'get' as event_value,
COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__');
abe9c92c36260c2d902b85d68c940cbd7101ec53

-- 再看看网站的状态码统计,是流计算的这句sql搞出来的
INSERT INTO sls_status select
prop_get('__time__') as time,
'status' as event_type,
status as event_value,
COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__'),status;

367d6ebb0118c3720a96a67a5b2ffd126efacbb0

当然,刷一下网站,数据就会变一下!
是不是吼神奇!
"我就爱玩新产品!别叫我停下来!"

本期分享结束啦 ,想让云享团分享哪些技术, 欢迎大家留言讨论,我们下期再见。
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
131 9
|
2月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
200 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
1月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
30 3
|
1月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
121 13
|
1月前
|
缓存 Java 编译器
|
2月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
88 5
图解MySQL【日志】——Redo Log
|
5月前
|
存储 运维 监控
API明细日志及运维统计日志全面提升API可运维性
在数字化转型的大潮中,数据已成为企业最宝贵的资产之一。而数据服务API可快速为数据应用提供数据接口。面对越来越多的API以及越来越多的应用调用,如何快速查看API的服务情况、异常情况及影响范围,以及查看API的调用详情,进行API的性能优化、错误排查变得越来越重要,本文将介绍如何配置和开通API运维统计及明细日志,以及如何查看日志进行介绍。
285 0
|
1月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
144 0
|
3月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
163 7
MySQL事务日志-Undo Log工作原理分析
|
2月前
|
存储 关系型数据库 MySQL
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
98 0

热门文章

最新文章

下一篇
oss创建bucket