内存受限环境下求大文件Top N词频

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,182元/月
云原生网关 MSE Higress,422元/月
简介: 内存受限环境下求大文件Top N词频

在大数据时代,处理超大规模数据是算法工程师需要面对的重要问题。本文将以在内存受限环境下,求一个大文件中词频最高的Top N词为例,探讨一种基于堆结构与外部排序的解决方案。
问题描述
给定一个1G大小的文件file.txt,里面每行是一个词,词的大小不超过16字节。内存限制为1M。要求返回文件中词频最高的100个词。
常规方法及不足
最简单的方法是将文件全部读入内存,统计每个词的频数,最后取频数最大的100个词。但文件大小远超内存限制,无法操作。
一种改进是分批读入文件,每次统计一批词频,最后合并结果。这种方法可以控制内存使用,但需要多轮遍历文件,当文件很大时IO成本非常高。且还需要频繁合并中间结果。
再一种方法是使用外部排序算法。将文件逐行读入,并排序,然后统计词频输出Top N结果。此方法依然需要多轮磁盘IO,效率较低。
基于堆结构的解法
基于上述分析,需要一种可以动态维护topk结果的数据结构。堆可以提供这种能力。
具体地,可以使用一个小根堆,堆的大小固定为N(此处为100)。每次从文件中读取一定大小的词,统计词频保存到一个哈希表中。然后遍历这个哈希表,把词频作为值,词语作为键,逐个插入小根堆。如果堆大小超过N,则移除堆顶最小的元素。重复这一过程,直到文件读取完毕,则堆中的N个元素就是全局topk结果。
堆结构保证了每次只需要维护规模为N的中间结果,而不是全量结果,因此可以控制内存占用。
算法实现
基于小根堆,可以设计一个内存受限的词频统计算法:
初始化大小为N的小根堆,用于保存topk结果import java.io.;
import java.util.
;
public class TopKFrequentWords {
private static final int N = 100; // 返回topk结果数
private static final int BATCH_SIZE = 100; // 每批读入行数
public static List topKFrequent(String file, int k, int batchSize) throws IOException {
PriorityQueue pq = new PriorityQueue<>((a, b) -> Integer.compare(a.freq, b.freq));
BufferedReader reader = new BufferedReader(new FileReader(file));
String line;
HashMap freq = new HashMap<>();
while ((line = reader.readLine()) != null) {
// 统计每批词频
freq.put(line, freq.getOrDefault(line, 0) + 1);
if (freq.size() >= batchSize) {
// 加载到堆中
for (Map.Entry entry : freq.entrySet()) {
pq.offer(new WordFreq(entry.getKey(), entry.getValue()));
if (pq.size() > k) {
pq.poll();
}
}
freq.clear(); // 清空当前批次结果
}
}
// 加载最后一个批次
for (Map.Entry entry : freq.entrySet()) {
pq.offer(
new WordFreq(entry.getKey(), entry.getValue()));
}
// 构建结果列表
List topK = new ArrayList<>();
while (!pq.isEmpty()) {
topK.add(pq.poll().word);
}
Collections.reverse(topK);
return topK;
}
public static class WordFreq {
String word;
int freq;
public WordFreq(String word, int freq) {
this.word = word;
this.freq = freq;
}
}
}这个示例定义了一个小根堆,每次从文件中读取一批数据进行统计,并维护堆中的topk词频结果。最后遍历堆构建结果列表。可以控制每批次处理数据量,保证内存不超限。总结本文针对内存受限环境下的大文件Top N词频问题,给出一种基于堆结构与外部排序的解决方案,主要有以下优点:import java.io.;
import java.util.
;
public class TopKFrequentWords {
private static final int N = 100; // 返回topk结果数
private static final int BATCH_SIZE = 100; // 每批读入行数
public static List topKFrequent(String file, int k, int batchSize) throws IOException {
PriorityQueue pq = new PriorityQueue<>((a, b) -> Integer.compare(a.freq, b.freq));
BufferedReader reader = new BufferedReader(new FileReader(file));
String line;
HashMap freq = new HashMap<>();
while ((line = reader.readLine()) != null) {
// 统计每批词频
freq.put(line, freq.getOrDefault(line, 0) + 1);
if (freq.size() >= batchSize) {
// 加载到堆中
for (Map.Entry entry : freq.entrySet()) {
pq.offer(new WordFreq(entry.getKey(), entry.getValue()));
if (pq.size() > k) {
pq.poll();
}
}
freq.clear(); // 清空当前批次结果
}
}
// 加载最后一个批次
for (Map.Entry entry : freq.entrySet()) {
pq.offer( new WordFreq(entry.getKey(), entry.getValue()));
}
// 构建结果列表
List topK = new ArrayList<>();
while (!pq.isEmpty()) {
topK.add(pq.poll().word);
}
Collections.reverse(topK);
return topK;
}
public static class WordFreq {
String word;
int freq;
public WordFreq(String word, int freq) {
this.word = word;
this.freq = freq;
}
}
}这个示例定义了一个小根堆,每次从文件中读取一批数据进行统计,并维护堆中的topk词频结果。最后遍历堆构建结果列表。可以控制每批次处理数据量,保证内存不超限。总结本文针对内存受限环境下的大文件Top N词频问题,给出一种基于堆结构与外部排序的解决方案,主要有以下优点:

  1. 可以分批处理文件,控制内存占用;
  2. 堆结构可以动态维护流式数据的topk结果;
  3. 只需要一轮外部排序,效率较高。
    可以分批处理文件,控制内存占用;
    堆结构可以动态维护流式数据的topk结果;
    只需要一轮外部排序,效率较高。
    当然,如果数据量级更大,还可以考虑MapReduce等分布式计算框架。但本文的方法可以覆盖很多常见场景,并可以扩展解决更多类似问题。
    逐批从文件中读取一定行数的词,统计到哈希表F中
    遍历F,将词频作为值,词语作为键,插入小根堆
    堆大小超过N,则移除堆顶最小元素
    重复步骤2-4,直到文件读完
    堆中的N个元素即为全局topk结果
    ```js
    AI绘画资料包
    https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#

https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

```

目录
相关文章
|
4月前
|
Arthas 存储 算法
深入理解JVM,包含字节码文件,内存结构,垃圾回收,类的声明周期,类加载器
JVM全称是Java Virtual Machine-Java虚拟机JVM作用:本质上是一个运行在计算机上的程序,职责是运行Java字节码文件,编译为机器码交由计算机运行类的生命周期概述:类的生命周期描述了一个类加载,使用,卸载的整个过类的生命周期阶段:类的声明周期主要分为五个阶段:加载->连接->初始化->使用->卸载,其中连接中分为三个小阶段验证->准备->解析类加载器的定义:JVM提供类加载器给Java程序去获取类和接口字节码数据类加载器的作用:类加载器接受字节码文件。
391 55
|
4月前
|
缓存 Linux 数据安全/隐私保护
Linux环境下如何通过手动调用drop_caches命令释放内存
总的来说,记录住“drop_caches” 命令并理解其含义,可以让你在日常使用Linux的过程中更加娴熟和自如。
833 23
|
6月前
|
机器学习/深度学习 存储 PyTorch
PyTorch内存优化的10种策略总结:在有限资源环境下高效训练模型
在大规模深度学习模型训练中,GPU内存容量常成为瓶颈,特别是在训练大型语言模型和视觉Transformer时。本文系统介绍了多种内存优化策略,包括混合精度训练、低精度训练(如BF16)、梯度检查点、梯度累积、张量分片与分布式训练、
213 14
PyTorch内存优化的10种策略总结:在有限资源环境下高效训练模型
|
6月前
|
分布式计算 算法 Java
|
存储 Java 开发工具
【Azure 存储服务】Azure Blob上传大文件(600MB)出现内存溢出情况(Java SDK)
【Azure 存储服务】Azure Blob上传大文件(600MB)出现内存溢出情况(Java SDK)
188 0
|
10月前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
581 4
|
11月前
|
数据处理 Python
如何优化Python读取大文件的内存占用与性能
如何优化Python读取大文件的内存占用与性能
644 0
|
11月前
|
数据处理 Python
Python读取大文件的“坑“与内存占用检测
Python读取大文件的“坑“与内存占用检测
255 0
|
11月前
|
Linux C++
Linux c/c++文件虚拟内存映射
这篇文章介绍了在Linux环境下,如何使用虚拟内存映射技术来提高文件读写的速度,并通过C/C++代码示例展示了文件映射的整个流程。
289 0
|
11月前
|
存储 算法 C语言
MacOS环境-手写操作系统-17-内存管理算法实现
MacOS环境-手写操作系统-17-内存管理算法实现
111 0