开发者社区 问答 正文

java中100g的文件1g的内存怎么实现对ip的去重统计

java中100g的文件1g的内存怎么实现对ip的去重统计

展开
收起
云计算小粉 2018-05-10 20:08:26 4795 分享 版权
1 条回答
写回答
取消 提交回答
  • 对 IP 进行哈希进行, 根据哈希值的前若干位对文件内容归类 (如果一次归类后文件依然较大, 可以再进行一次归类), 然后对归类后的文件再进行去重. 因为相同的 IP 具有相同的哈希值, 所以肯定会被归类到同一个文件中.
    2019-07-17 22:17:13
    赞同 展开评论
问答分类:
问答地址: