[@小川游鱼][¥20]项目上线三个月,每天过亿的数据量....如何处理是好?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

[@小川游鱼][¥20]项目上线三个月,每天过亿的数据量....如何处理是好?

2018-12-14 16:14:09 1540 1

1、数据表里面的数据是在是太多了,通常要做一些数据统计报表之类的工作,头疼的很

2、已经做过如下的处理,但是...似乎已经快到极限,撑不下去了

 1) 分表

 2) 索引

 3) SQL优化优化再优化

 4)代码优化

3、 请求大家给个解决方案。我举个简单场景例子:

 登陆表里面会有用户的登陆记录,每个人会再一天内登陆很多次,你可以想象下,每天登陆的次数总计过亿次,但是我们可能需要的是一个去重复的数据(这只是一个简单场景)
取消 提交回答
全部回答(1)
  • fuxt
    2019-07-17 23:21:07

    上hive 或者 Teradata

    0 0
相关问答

4

回答

请教一个范围查询的问题

小文文文 2019-06-14 14:37:01 116795浏览量 回答数 4

5

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 130192浏览量 回答数 5

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 123805浏览量 回答数 10

1

回答

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

游客iwhrjhvjoyqts 2019-07-05 15:30:22 115249浏览量 回答数 1

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 341402浏览量 回答数 8

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 144422浏览量 回答数 38

3

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 133606浏览量 回答数 3

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 126352浏览量 回答数 8

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 160062浏览量 回答数 82

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 123553浏览量 回答数 11
+关注
晓生寒
大数据开发与数据分析
11
文章
100
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载