Linux系统内存使用优化技巧

简介: 交换空间(Swap)的优化禁用 Swapsudo swapoff -a作用:这个命令会禁用系统中所有的 Swap 空间。swapoff 命令用于关闭 Swap 空间,-a 参数表示关闭 /etc/fstab 文件中配置的所有 Swap 空间。使用场景:在高性能应用场景下,比如数据库服务器或高性能计算服务器,禁用 Swap 可以减少磁盘 I/O,提高系统性能。

交换空间(Swap)的优化

禁用 Swap

sudo swapoff -a

作用:这个命令会禁用系统中所有的 Swap 空间。swapoff 命令用于关闭 Swap 空间,-a 参数表示关闭 /etc/fstab 文件中配置的所有 Swap 空间。

使用场景:在高性能应用场景下,比如数据库服务器或高性能计算服务器,禁用 Swap 可以减少磁盘 I/O,提高系统性能。

降低 swappiness

echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

作用vm.swappiness 参数控制系统使用 Swap 的倾向。值越低,系统越倾向于使用物理内存而不是 Swap。默认值通常是 60,将其设置为 10 可以显著减少 Swap 的使用。

使用场景:适用于内存充足的系统,减少 Swap 的使用可以提高内存访问速度,提升系统性能。

减少动态内存分配

使用大页(Hugepage)

cat /proc/meminfo | grep HugePages

作用:查看系统当前的 HugePages 配置情况。/proc/meminfo 文件包含了系统的内存信息,grep HugePages 用于过滤出与 HugePages 相关的信息。

使用场景:在配置大页之前,需要先查看当前的配置情况。

vm.nr_hugepages = 2048

作用:在 /etc/sysctl.conf 文件中设置 vm.nr_hugepages 参数,指定系统分配的大页数量。假设应用需要 4GB 大页内存,大页大小为 2MB,则需要 2048 个大页。

使用场景:适用于内存密集型应用,如数据库服务器,使用大页可以减少页表项的数量,提高内存访问速度。

sudo sysctl -p

作用:使 /etc/sysctl.conf 文件中的配置生效。sysctl 命令用于运行时调整内核参数,-p 参数表示从 /etc/sysctl.conf 文件中读取配置并应用。

使用场景:每次修改 /etc/sysctl.conf 文件后,都需要执行这个命令来使配置生效。

export HUGETLB_MORECORE=yes

作用:设置环境变量 HUGETLB_MORECOREyes,使应用能够使用大页内存。这个环境变量通常在应用的启动脚本中设置。

使用场景:适用于需要使用大页内存的应用,如 Oracle 数据库。

优化数据访问,使用缓存和缓冲区

使用堆栈缓存

作用:使用堆栈来明确声明内存空间,以存储需要缓存的数据。堆栈缓存可以减少动态内存分配的开销。

使用场景:适用于需要频繁分配和释放小块内存的应用。

利用外部缓存组件

作用:利用外部缓存组件(如 Redis)来优化数据的访问,减少对数据库的频繁访问。Redis 是一个高性能的键值存储系统,可以作为缓存层,提高数据访问速度。

使用场景:适用于需要频繁读取数据的应用,如 Web 应用、API 服务等。

使用 cgroups 限制进程内存使用

创建 cgroup

sudo cgcreate -g memory:/mygroup

作用:创建一个名为 mygroup 的 cgroup,用于管理内存。cgcreate 命令用于创建 cgroup,-g memory:/mygroup 参数指定创建一个内存类型的 cgroup。

使用场景:适用于需要限制特定进程或组内进程的内存使用情况。

限制内存使用

echo "100M" > /sys/fs/cgroup/memory/mygroup/memory.limit_in_bytes

作用:设置 mygroup cgroup 的内存使用限制为 100MB。/sys/fs/cgroup/memory/mygroup/memory.limit_in_bytes 文件用于设置内存限制。

使用场景:适用于需要确保关键应用的内存需求,防止其他进程占用过多内存。

调整 OOM Score

调整进程的 OOM 分数

echo -17 > /proc/1234/oom_adj

作用:调整进程 ID 为 1234 的 OOM 分数为 -17。oom_adj 文件用于调整进程的 OOM 分数,值越低,进程越不容易被 OOM 杀死。

使用场景:适用于需要保护关键进程不被系统自动杀死的情况。

终止未使用的服务和程序

列出所有正在运行的服务

sudo systemctl list-units --type=service --state=running

作用:列出所有正在运行的服务。systemctl 命令用于管理系统服务,list-units --type=service --state=running 参数用于列出所有正在运行的服务。

使用场景:在优化系统性能时,需要先列出所有正在运行的服务,以便决定哪些服务可以停止。

停止并禁用不需要的服务

sudo systemctl stop service_name
sudo systemctl disable service_name

作用:停止并禁用指定的服务。stop 命令用于停止服务,disable 命令用于禁用服务,防止服务在系统启动时自动启动。

使用场景:适用于需要减少不必要的内存占用,提高系统性能。

始终使用最新的软件

定期更新软件

作用:定期更新软件可以修复已知的错误和漏洞,提高系统的稳定性和性能。

使用场景:适用于所有系统,定期更新软件是系统维护的基本要求。

清理缓存

清理页面缓存

echo 1 > /proc/sys/vm/drop_caches

作用:清理页面缓存,释放内存。/proc/sys/vm/drop_caches 文件用于控制缓存的清理,值为 1 表示清理页面缓存。

使用场景:适用于需要临时释放内存,提高系统性能的情况。

清理目录项和inode缓存

echo 2 > /proc/sys/vm/drop_caches

作用:清理目录项和 inode 缓存。值为 2 表示清理目录项和 inode 缓存。

使用场景:适用于需要临时释放内存,提高系统性能的情况。

目录
相关文章
|
27天前
|
机器学习/深度学习 算法 PyTorch
125_训练加速:FlashAttention集成 - 推导注意力优化的独特内存节省
2025年,大型语言模型的训练面临着前所未有的挑战。随着模型参数量和序列长度的不断增加,传统注意力机制的内存瓶颈问题日益突出。FlashAttention作为一种突破性的注意力算法,通过创新的内存访问模式和计算优化,显著提升了训练效率和内存利用。
|
3月前
|
缓存 固态存储 Windows
如何让内存发挥到最大效能?全面优化指南,提升电脑运行体验
电脑内存使用不合理会导致卡顿,本文教你如何优化内存性能。检查内存容量与主板支持上限,考虑升级或调整配置;关闭后台程序、管理浏览器标签、结束异常进程以释放内存;设置虚拟内存、调整视觉效果、定期重启提升效率;必要时增加内存条、选择高频内存、更换固态硬盘。避免盲目清理内存和依赖大内存忽视其他硬件瓶颈。只需合理设置,无需额外花钱,就能显著提升电脑速度。
|
27天前
|
存储 机器学习/深度学习 PyTorch
119_LLM训练的高效内存管理与优化技术:从ZeRO到Flash Attention
大型语言模型(LLM)的训练面临着前所未有的计算和内存挑战。随着模型规模达到数百亿甚至数千亿参数,高效的内存管理成为训练成功的关键因素之一。2025年,LLM训练的内存优化技术已经取得了显著进展,从ZeRO优化器到Flash Attention等创新技术,为训练超大规模模型提供了可能。
|
1月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
87 0
Linux内存问题排查命令详解
|
3月前
|
存储 人工智能 自然语言处理
AI代理内存消耗过大?9种优化策略对比分析
在AI代理系统中,多代理协作虽能提升整体准确性,但真正决定性能的关键因素之一是**内存管理**。随着对话深度和长度的增加,内存消耗呈指数级增长,主要源于历史上下文、工具调用记录、数据库查询结果等组件的持续积累。本文深入探讨了从基础到高级的九种内存优化技术,涵盖顺序存储、滑动窗口、摘要型内存、基于检索的系统、内存增强变换器、分层优化、图形化记忆网络、压缩整合策略以及类操作系统内存管理。通过统一框架下的代码实现与性能评估,分析了每种技术的适用场景与局限性,为构建高效、可扩展的AI代理系统提供了系统性的优化路径和技术参考。
202 4
AI代理内存消耗过大?9种优化策略对比分析
|
6月前
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
1174 0
|
3月前
|
存储 人工智能 API
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
在AI代理系统开发中,上下文工程成为提升系统性能的关键技术。本文探讨了从提示工程到上下文工程的转变,强调其通过为AI系统提供背景信息和工具支持,显著提升智能化程度和实用价值。文章系统分析了上下文工程的理论基础、核心策略(如写入、选择、压缩和隔离),并结合LangChain和LangGraph工具,展示了如何实现上下文工程技术以优化AI代理性能。通过Scratchpad机制、内存管理、RAG系统集成、多代理架构及沙盒环境等技术手段,开发者可以更高效地构建高性能、可扩展的AI系统。
389 0
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
|
4月前
|
缓存 监控 Cloud Native
Java Solon v3.2.0 高并发与低内存实战指南之解决方案优化
本文深入解析了Java Solon v3.2.0框架的实战应用,聚焦高并发与低内存消耗场景。通过响应式编程、云原生支持、内存优化等特性,结合API网关、数据库操作及分布式缓存实例,展示其在秒杀系统中的性能优势。文章还提供了Docker部署、监控方案及实际效果数据,助力开发者构建高效稳定的应用系统。代码示例详尽,适合希望提升系统性能的Java开发者参考。
202 4
Java Solon v3.2.0 高并发与低内存实战指南之解决方案优化
|
2月前
|
边缘计算 算法 Java
Java 绿色计算与性能优化:从内存管理到能耗降低的全方位优化策略与实践技巧
本文探讨了Java绿色计算与性能优化的技术方案和应用实例。文章从JVM调优(包括垃圾回收器选择、内存管理和并发优化)、代码优化(数据结构选择、对象创建和I/O操作优化)等方面提出优化策略,并结合电商平台、社交平台和智能工厂的实际案例,展示了通过Java新特性提升性能、降低能耗的显著效果。最终指出,综合运用这些优化方法不仅能提高系统性能,还能实现绿色计算目标,为企业节省成本并符合环保要求。
106 0
|
4月前
|
存储 自然语言处理 算法
基于内存高效算法的 LLM Token 优化:一个有效降低 API 成本的技术方案
本文探讨了在构建对话系统时如何通过一种内存高效算法降低大语言模型(LLM)的Token消耗和运营成本。传统方法中,随着对话深度增加,Token消耗呈指数级增长,导致成本上升。
358 7
基于内存高效算法的 LLM Token 优化:一个有效降低 API 成本的技术方案