java 环境下操作大数据问题
现在碰到个大数据频繁操作问题，数据量很大，但又得对这大数据量进行频繁的读和写，现在还没有好的方案，哪位大牛能给点思路啊。。 问题补充：这数据和数据库无关，主要是移动的话单，短信等交换机数据汇聚处理。相当于要将这些数据放入集合中，这操作过程中还要对此集合进行频繁的读和写操作，不知道这样描述大牛们能不能看明白我的意思？
展开
收起
1
条回答
写回答
写回答
-
一般对于大数据的读写操作，都会有一个cache层作为缓冲。一般选用cache的话，会用memcached或redis（还有一个阿里的cache）。然后再加上读写分离的策略。只要保证操作不会穿透cache，就没有什么问题。
当然是用cache的话，你要预估你的全部数据量或热数据量。预算好你的cache命中率。
你这里说道你们操作的集合数据，那选用redis就很不错了。redis本身就支持集合的操作。
最后一步就是cache中数据与持久数据的同步问题，这个你也是需要考虑的。
当然你说的你的数据要做汇集工作，这个就不是cache所不具备的功能了。redis支持服务端计算，如果的key设计的合理的话，估计也能解决你的数据汇集问题。
2020-01-31 14:10:34赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
