开发者社区> 阿里云支持与服务> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

日志服务+流计算+RDS 统计网站访问日志

简介: 众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近流计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏?请看本期云享团分享。
+关注继续查看
本期分享专家:黄莉娟,具有多年前端开发经验,曾就职于天基,在阿里云从事大数据产品、日志服务、消息产品的技术支持,喜欢研究新技术分享新产品。我的口号“我就爱玩新产品!别叫我停下来”
b2afd431f16e95521ffa820d91a6f0618813e820
众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近流计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏,在思考了四分之一柱香之后,我决定写一个先有鸡还是先有蛋的故事。
是的,写个自己统计自己访问日志的网站,是不是为了做demo完全不要节操!
这个demo很适合初学者!

step 1、准备工作日志生成过程

首先把/etc/nginx/nginx.conf 配置一下,搞个跳转
location / {
proxy_pass http://127.0.0.1:3000;
}

一会3000这个端口我们用nodejs起个http server,这样访问根目录就跳转到我的nodejs网站了,为了要个nginx的日志,我不择手段,为什么要统计nginx日志呢,因为有个现成的介绍,不会的请戳这里https://help.aliyun.com/document_detail/28988.html

配置好以后,sls的控制台看,日志长这样

4aa615e27fb00c1a7c9ca6d8f8cdfe5b801027e6

step 2、在RDS建结果表

然后我们用流计算把日志服务的数据挖出来丢到rds,网站读rds搞点图图粗来,刷一下rds变一下,是不是很想给我的脑袋来上一枪!

先给rds建两张表,我们会把结果放在这两张表里,统计日志的网站读这两张表就行了。为了方便简单两张表建一样的格式好了。
CREATE TABLE `sls_event` (
  `time` int(11) NOT NULL DEFAULT '0',
  `event_type` char(32) NOT NULL DEFAULT '',
  `event_value` char(128) NOT NULL DEFAULT '',
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`time`,`event_type`,`event_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `sls_status` (
  `time` int(11) NOT NULL DEFAULT '0',
  `event_type` char(32) NOT NULL DEFAULT '',
  `event_value` char(128) NOT NULL DEFAULT '',
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`time`,`event_type`,`event_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


step 3、使用流计算计算日志数据并输出到RDS表

开通流计算,开通好以后,可以看见控制台长这样:

6901da3b7b39e12ac28beb934b56ebb981eb13d7
把里面sql抠出来放在这:

---------------------------------------我是stream sql的分割线-------------------------------------------------------

--1.首先定义下数据源的表,这里我们用type='loghub',直接就能把loghub中的数据读出来

CREATE STREAM TABLE source_test_sls_galaxy (ip STRING, status INT, request STRING,refer STRING,user_agent STRING ) 
WITH ( type='loghub', endpoint='http://project_region.log.aliyuncs.com', accessId='!@#$',accessKey='@#$%', projectName='#$$%%', logstore='!@#$%' );

--2.然后定义个两个RDS的表type='mysql' 作为输出结果表

CREATE RESULT TABLE sls_event (
time                INT,
event_type          STRING,
event_value         STRING,
value               INT
) WITH (
type='mysql',
url='jdbc:mysql://@#$%:3306/@$$%',
username='@#$%',
password='@#$%',
tableName='sls_event'
);

CREATE RESULT TABLE sls_status (
time                INT,
event_type          STRING,
event_value         STRING,
value               INT
 ) WITH (
type='mysql',
url='jdbc:mysql://@#$%:3306/@$$%',
username='@#$%',
password='@#$%',
tableName='sls_event'
);

-- 3. 定义下计算逻辑

INSERT INTO sls_event select
   prop_get('__time__') as time,
   'pv' as event_type,
   'get' as event_value,
   COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__');

INSERT INTO sls_status select
   prop_get('__time__') as time,
   'status' as event_type,
   status as event_value,
   COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__'),status;

---------------------------------------我还是stream sql的分割线-------------------------------------------------------

注意下!!!sql里面我用了 prop_get('__time__'),这个是loghub的系统字段时间__time__,必须通过消息属性传递进来,普通的日志服务的key写在数据源的表就可以了,系统字段不用写,配置下任务参数,直接用,可以参考下http://gitlab.alibaba-inc.com/galaxy/galaxy/wikis/prop-functions

任务参数这么写:
galaxy.input.props.keylist=timestamp,__time__
截个图。最后一行红圈圈是我加的:

2bb21d0d84662a0ddfb0a1e49a2fd2bad9f3f0f3

然后轻轻的点击下“上线”,上线成功后,再轻轻的点击下“运维”,进去把任务启动起来。

启动好之后,看起来是酱紫滴,输入RPS是有东西的。当然之所以有输入,是因为我访问了一下我的网站了~~
8a059e7fcd8ad886b8555e2d84b977c6e8488016


step 4、在网站上的展示效果,刷一刷就会看到变化

来刷刷我们的网站,就是我用nodejs启动的在3000端口,nginx配置了跳转的那一个咯。

-- 先看看网站的PV统计,是流计算的这句sql搞出来的
INSERT INTO sls_event select
prop_get('__time__') as time,
'pv' as event_type,
'get' as event_value,
COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__');
abe9c92c36260c2d902b85d68c940cbd7101ec53

-- 再看看网站的状态码统计,是流计算的这句sql搞出来的
INSERT INTO sls_status select
prop_get('__time__') as time,
'status' as event_type,
status as event_value,
COUNT(1) as value
FROM source_test_sls_galaxy
GROUP BY prop_get('__time__'),status;

367d6ebb0118c3720a96a67a5b2ffd126efacbb0

当然,刷一下网站,数据就会变一下!
是不是吼神奇!
"我就爱玩新产品!别叫我停下来!"

本期分享结束啦 ,想让云享团分享哪些技术,欢迎大家留言讨论,我们下期再见。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
动手实战-最佳应用实践之使用RDS MySQL和ECS搭建个人博客
场景体验完成,简单描述以下实验过程,可以看到wordpress安装配置非常简单。
88 0
手动恢复RDS MySQL数据库
有时难免需要恢复数据库到之前某个制定时间点(例如由于SQL误操作并且已经commit导致)。在阿里云控制台,RDS有两种恢复方法,一种是覆盖性恢复,可以为理解通过全量备份覆盖当前数据库,只能选取某个全量备份进行操作;一种是通过创建临时库,可以制定近7天内任意时间点。显然,选择后者相对能将影响降到最.
6063 0
RDS MySQL空间优化最佳实践
在前三期介绍了RDS for MySQL参数优化,锁问题以及延迟优化最佳实践之后,本期将介绍存储空间相关的最佳实践。
8905 0
MySQL · 参数优化 ·RDS MySQL参数调优最佳实践
前言 很多时候,RDS用户经常会问如何调优RDS MySQL的参数,为了回答这个问题,写一篇blog来进行解释: 哪一些参数不能修改,那一些参数可以修改; 这些提供修改的参数是不是已经是最佳设置,如何才能利用好这些参数; 哪些参数可以改 细心的用户在购买RDS的时候都会看到,不同规格能够提
5933 0
大连接时代到来的十大标志之五:云计算无处不在
阿里巴巴集团技术委员会主席王坚在《在线》一书中提到,未来企业比拼的是计算能力。怎么理解?我认为,这句话想要表达的是:企业的计算能力决定企业的发展,决定企业体量的大小。这里的企业计算能力,其实就是云计算的能力。企业有足够的云计算能力,才能具备连接更多IOT设备的能力,更具备连接产业合作伙伴的能力,这种企业的能力自然也就是强的。
28 0
日志服务(SLS)数据模拟器初体验
日志服务SLS是阿里集团自研的一站式日志平台,用户无需开发就能能够开箱即用地使用它来提升运维、运营效率,建立 DT 时代海量日志处理能力。SLS数据模拟器是SLS提供的一个用于接入模拟数据的数据接入方式,支持丰富的数据模拟场景,包含各类阿里云云产品日志、自建开源/商业软件日志以及Metric日志等,助力用户一键式导入模拟数据。
442 0
+关注
阿里云支持与服务
分享阿里云支持与服务团队最佳实践、经典案例与故障排查。
197
文章
4853
问答
来源圈子
更多
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载