LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是微调工具，包含Dockerfile和train.sh脚本，适用于多卡训练。Dockerfile基于nvidia/cuda:12.1.0镜像，安装Python 3.10、PyTorch 2.2.0、transformers等库。train.sh运行Docker容器，使用accelerate launch进行训练，参数包括模型路径、学习率、优化器设置等。注意使用--shm-size 32G --gpus all，并可选启用unsloth加速。默认配置文件设定了分布式训练和混合精度BF16。
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
GQA是一种结合MQA和MHA优点的注意力机制，旨在保持MQA的速度并提供MHA的精度。它将查询头分成组，每组共享键和值。通过Pytorch和einops库，可以简洁实现这一概念。GQA在保持高效性的同时接近MHA的性能，是高负载系统优化的有力工具。相关论文和非官方Pytorch实现可进一步探究。
不止于大模型 英特尔CPU引领智算新高度
ChatGPT的横空出世拉开了AI大模型的新时代，而近期的文生视频模型SORA又让业界为之激动不已。据了解，Sora所需token（文本处理最小单位）数量相较于文本及图片模型的推理呈数量级增长。经中信证券简单估算，对于一个60帧的视频（约6至8秒），Sora要生成至少约120万个token，这是相当大的计算量。
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
Transformer的基石自2017年后历经变革，2022年RoPE引领NLP新方向，现已被顶级模型如Llama、Llama2等采纳。RoPE融合绝对与相对位置编码优点，解决传统方法的序列长度限制和相对位置表示问题。它通过旋转矩阵对词向量应用角度与位置成正比的旋转，保持向量稳定，保留相对位置信息，适用于长序列处理，提升了模型效率和性能。RoPE的引入开启了Transformer的新篇章，推动了NLP的进展。[[1](https://avoid.overfit.cn/post/9e0d8e7687a94d1ead9aeea65bb2a129)]
如何开始定制你自己的大型语言模型
2023年，大型语言模型发展迅速，规模更大，性能更强。用户能否定制自己的模型取决于硬件资源。需在功能和成本间找到平衡，可以选择高性能（如40B+参数，适合专业用途，需强大GPU，成本高）或低性能（如7B参数，适合学习和简单应用，GPU成本较低）模型。训练模型可借助HuggingFace的Transformers库，定义数据集并进行训练。训练好的模型可使用Ollama和Open Web UI部署。具备适当GPU是入门基础。
【多GPU炼丹-绝对有用】PyTorch多GPU并行训练：深度解析与实战代码指南
本文介绍了PyTorch中利用多GPU进行深度学习的三种策略：数据并行、模型并行和两者结合。通过`DataParallel`实现数据拆分、模型不拆分，将数据批次在不同GPU上处理；数据不拆分、模型拆分则将模型组件分配到不同GPU，适用于复杂模型；数据和模型都拆分，适合大型模型，使用`DistributedDataParallel`结合`torch.distributed`进行分布式训练。代码示例展示了如何在实践中应用这些策略。