可指定任意时间段查询网站流量统计数据的问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

可指定任意时间段查询网站流量统计数据的问题

2016-02-29 18:25:35 3352 1

简单需求:最近在做一个数据统计的项目,要求要统计的最小单位是分钟,类似统计网站的PV这样子,后台要求能看到某一天的某个小时或几个小时内每分钟的量的走势...等等,大家做过统计应该是知道的,我现在的设计是利用redis分布顶前端的访问记录存储,然后通过配合mysql持久记录历史数据,现在我的瓶颈在于mysql的设计上
大致的表设计是这样的:表名:test_pv 字段:id day hour minute1 ... minutes60
通过day去利用mysql分区为365个(这里大家建议一下是利用Range,list,hash中的那个比较好?)
还有就是此表的索引和分区上需要注意什么,就是希望高手给与设计上一些实际性的建议,网上的资料我已经通遍了,就是想大家给出一些指正和设计上的合理性的建议

取消 提交回答
全部回答(1)
  • 落地花开啦
    2019-07-17 18:50:46

    这是我一些个人想法,不知道是否合理。选择用哪一个,主要要结合你的统计的需要。

    1. 不一定要分为365个,分成这么多分区,访问时去扫描的分区就多了,那会增加IO开销。
    2. 如果经常进行环比,比如连续几天,或者连续的某两天进行对比,那range,list好一些,因为相你的分区相对连续,那可以减少IO.
    3. 如果是经常进行同比,比如这个月的某天与上个月的某天,那可以用hash,函数可以自己定义,可以将可能同时访问的数据放在同一分区中,减少IO.
    4. 另外,不知道统计显示是用什么来做的?...目前我也在做一个类似的监控系统,我用rrd4j 做显示。
      另外,用explain将你最常用的查寻打印出来看看,如果每个查询要涉及 的分区 少的话,那分区 有优势,否则就慢了
    0 0
相关问答

20

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1272814浏览量 回答数 20

20

回答

[@倚贤][¥20]学习Java后端的疑惑

小江同志 2018-10-24 16:11:21 134451浏览量 回答数 20

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 160001浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 341341浏览量 回答数 8

119

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 302590浏览量 回答数 119

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 148018浏览量 回答数 31

39

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 263621浏览量 回答数 39

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 159830浏览量 回答数 82

251

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 310292浏览量 回答数 251

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 205746浏览量 回答数 2
+关注
落地花开啦
喜欢技术,喜欢努力的人
0
文章
7824
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载