AI 助理
备案控制台
开发者社区 问答 正文

java中100g的文件1g的内存怎么实现对ip的去重统计

java中100g的文件1g的内存怎么实现对ip的去重统计

展开
收起
云计算小粉 2018-05-10 20:08:26 4805 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 1259517589946096
    对 IP 进行哈希进行, 根据哈希值的前若干位对文件内容归类 (如果一次归类后文件依然较大, 可以再进行一次归类), 然后对归类后的文件再进行去重. 因为相同的 IP 具有相同的哈希值, 所以肯定会被归类到同一个文件中.
    2019-07-17 22:17:13
    赞同 展开评论
问答分类：
Java
问答标签：
Java内存 Java文件 Java统计 Java ip 100g内存
问答地址：
开发者社区 > 开发与运维 > 问答
相关问答
VS2022开发环境，打开某特定JS 文件，通义灵码直接将系统内存吃完，导致系统崩溃
148
1
0
通过DataWorks上传Excel文件的时候，oom了，这个除了切割Excel外，能调整内存大小？
120
1
0
/proc/meminfo文件提供了哪些关于内存使用的详细信息？
113
1
0
kibana内存如何设置文件？
132
1
0
打标记的数据是存内存还是落盘到磁盘里面的一个专门的标记文件里啊？
54
0
0
为什么随着采集速率的增加，标准输出流采集的内存消耗会逐渐超过容器文件采集？
57
1
0
在内存膨胀方面，无论是标准输出流采集还是容器内文件采集Filebeat和iLogtail的内存使用率
86
1
0
大佬，oracle单表增量同步时候源库服务器额外占用内存近2g，这不正常吧
630
1
0
服务器硬件中的内存宽带是指什么呢？
941
1
0
TSDB查询性能以及服务器内存
995
0
0