开发者社区> 问答> 正文

[@小川游鱼][¥20]项目上线三个月,每天过亿的数据量....如何处理是好?

1、数据表里面的数据是在是太多了,通常要做一些数据统计报表之类的工作,头疼的很

2、已经做过如下的处理,但是...似乎已经快到极限,撑不下去了

 1) 分表

 2) 索引

 3) SQL优化优化再优化

 4)代码优化

3、 请求大家给个解决方案。我举个简单场景例子:

 登陆表里面会有用户的登陆记录,每个人会再一天内登陆很多次,你可以想象下,每天登陆的次数总计过亿次,但是我们可能需要的是一个去重复的数据(这只是一个简单场景)

展开
收起
晓生寒 2018-12-14 16:14:09 2016 0
1 条回答
写回答
取消 提交回答
  • 上hive 或者 Teradata

    2019-07-17 23:21:07
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
增长的真相暨金数据新产品发布 立即下载
淘宝内容.2017-淘宝从追求效率的交易市场平台升级成为追求 立即下载
新浪广告系统服务化优化 立即下载