如果不加机器，一年的时间数据暴增1000呗咋办？ 400 请求报错
搞了一年的mdrill项目，数据量膨胀了1000呗，还是依然原先的10台机器。
悲剧啊，真想说任何不给机器的需求都是耍流氓。
小小coding们，有没有感觉到程序员一般都不会PK呢？
| 时间点 | 数据量 | 事件 |
| 12年12月 | 小于2亿 | adhoc首次上线 |
| 13年1月 | 20~30亿 | 由2台机器扩容到了10台 |
| 13年5月2日 | 100亿 | 首次过百亿 |
| 13年7月24日 | 400亿 | 首次开源 |
| 13年11月 | 1000亿 | 全文检索模式ods_allpv_ad_d上线 |
| 13年12月 | 1500亿 | 实时数据以及无线数据的接入 |
| 14年2月 | 3200亿 | 目前只有10台机器，硬盘使用率30% |
mdrill地址：
https://github.com/alibaba/mdrill
展开
收起
1
条回答
写回答
写回答
-
算广告吗？哈。3200亿，相当于320G的量，我不知道你这个是bit呢，还是条数。哈。如果一条数据128byte，那么你这个就有40Tbyte的数据，10台机器，平均4Tbytes的数据。那么你每个机器的硬盘空间应该大约在 15Tbytes左右，机器没有替换过，12年的机器，15Tbytes的存储，也是好机器哦。哈。######使用率才30% 还好啊，cpu idle和内存的使用情况呢 ？
######这是大神啊######坐等大神现身######
引用来自“中山野鬼”的答案
算广告吗？哈。3200亿，相当于320G的量，我不知道你这个是bit呢，还是条数。哈。如果一条数据128byte，那么你这个就有40Tbyte的数据，10台机器，平均4Tbytes的数据。那么你每个机器的硬盘空间应该大约在 15Tbytes左右，机器没有替换过，12年的机器，15Tbytes的存储，也是好机器哦。哈。亲，确实算广告啦。 A 目前总的索引量为130T，总记录数3200亿，每天增量170亿，使用11台机器（后来又上了一台） 这一年数据增长迅速，如果按照这个速度增长下去，那么撞墙是迟早的事情。 ######预言下，墙在4800亿条。######神啊######
######加机器吧######这是大神啊###### 文档太少，好难用啊。。 能不能内嵌zookeeper，供本地开发测试啊？？
2020-05-31 17:28:05赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
