开发者社区> 问答> 正文

java中100g的文件1g的内存怎么实现对ip的去重统计

java中100g的文件1g的内存怎么实现对ip的去重统计

展开
收起
云计算小粉 2018-05-10 20:08:26 4609 0
1 条回答
写回答
取消 提交回答
  • 对 IP 进行哈希进行, 根据哈希值的前若干位对文件内容归类 (如果一次归类后文件依然较大, 可以再进行一次归类), 然后对归类后的文件再进行去重. 因为相同的 IP 具有相同的哈希值, 所以肯定会被归类到同一个文件中.
    2019-07-17 22:17:13
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
如何通过 Serverless 提高 Java 微服务治理效 立即下载
Spring Cloud Alibaba - 重新定义 Java Cloud-Native 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载