在自定义数据集上微调Alpaca和LLaMA
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face)进行评估。此外还将介绍如何使用grado应用程序部署和测试模型。
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
Transformer的基石自2017年后历经变革，2022年RoPE引领NLP新方向，现已被顶级模型如Llama、Llama2等采纳。RoPE融合绝对与相对位置编码优点，解决传统方法的序列长度限制和相对位置表示问题。它通过旋转矩阵对词向量应用角度与位置成正比的旋转，保持向量稳定，保留相对位置信息，适用于长序列处理，提升了模型效率和性能。RoPE的引入开启了Transformer的新篇章，推动了NLP的进展。[[1](https://avoid.overfit.cn/post/9e0d8e7687a94d1ead9aeea65bb2a129)]
【DSW Gallery】在DSW中如何玩转Hugging Face
Hugging Face是一个流行的预训练模型库，包括NLP、CV、Audio等模型，在国内外广为流传。本文介绍如何在DSW中使用Hugging Face Python SDK完成基本的任务，包括使用pipeline对象做预测，以及用Model对象实现FineTune。特别的，我们选取中英文翻译预训练模型来演示，让大家有更加直观的印象。