AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

开源大语言模型(LLM)汇总

2023-05-19 2990
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
模型训练 PAI-DLC，5000CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
简介： 随着ChatGPT的火爆，越来越多人希望在本地运行一个大语言模型。为此我维护了这个开源大语言模型汇总，跟踪每天不发的大语言模型和精调语言模型。

开源大语言模型(LLM)汇总

33bda5f420f076384c3013ddd7bd70b6.png

随着ChatGPT的火爆，越来越多人希望在本地运行一个大语言模型。为此我维护了这个开源大语言模型汇总，跟踪每天不发的大语言模型和精调语言模型。

我将根据个模型采用的基础大模型进行分类，每个大模型下列出各派生模型。

Alpaca (Stanford)

斯坦福Alpaca：一种指令遵从型 LLaMA 模型。

以下是基于 Stanford Alpaca 项目的衍生模型或类似模型：

  • Alpaca.cpp
  • Alpaca-LoRA
  • Baize
  • Cabrita
  • BELLE
  • Luotuo
  • Vicuna
  • Chinese-Vicuna
  • GPT4All
  • Koala
  • llama.cpp
  • Lit-LLaMA ️

Alpaca.cpp

一个可以在本地设备上快速运行的类ChatGPT模型。视频中演示的模型具有4G权重，运行在M2芯片的Macbook Air上。视频是原始速度，没有加速。

Alpaca-LoRA

该项目使用低秩适应 (LoRA) 重现Stanford Alpaca。

项目提供了一个与 text-davinci-003 质量相似的指令模型，可以在 Raspberry Pi 上运行（用于研究），代码可以很容易地扩展到 13B、30B 和 65B 模型。

Baize

Baize 是一个使用 LoRA 微调的开源聊天模型。 它使用与 ChatGPT 聊天生成的 100k 对话进行训练。 还使用 Alpaca 的数据来提高其性能。 目前已经发布了 7B、13B 和 30B 规模模型。

Cabrita

基于LLaMA的葡萄牙语微调模型

BELLE

BELLE 基于斯坦福的 Alpaca 完成，对中文做了优化，并对生成代码进行了一些修改，模型调优仅使用由 ChatGPT 生产的数据（不包含任何其他数据）。

Luotuo

来自商汤科技和华中科技大学开源中文语言模型骆驼 Luotuo，该项目基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成，单卡就能完成训练部署。

Vicuna (FastChat)

一个达到ChatGPT 90%效果的开源聊天机器人。

Chinese-Vicuna

一个中文低资源的LLaMA + LoRA方案，结构参考Alpaca

GPT4All

基于 LLaMA，用大约 800k GPT-3.5-Turbo 生成数据训练的助手式大语言模型。

Koala

Koala 是一个在 LLaMA 上微调的语言模型。

llama.cpp

用纯C/C++实现的LLaMA模型推理。支持3个模型：LLaMA, Alpaca和GPT4All

Lit-LLaMA ️

LLaMA 的独立实现，支持量化、LoRA微调和预训练。在 Apache 2.0 许可下完全开源。 此实现基于 nanoGPT。

BLOOM (BigScience)

BigScience 大型开放科学开放存取多语言模型。

以下是基于 BigScience BLOOM 项目的衍生模型或类似模型：

  • BLOOM-LoRA
  • Petals

BLOOM-LoRA

各种指令调优数据集的低秩适应模型。

Petals

使用分布式 176B 参数 BLOOM 或 BLOOMZ 生成文本，并根据您自己的任务对其进行微调。

Flamingo (Google/Deepmind)

使用单一视觉语言模型处理多项任务

以下是基于 Flamingo 项目的衍生模型或类似模型：

  • Flamingo — Pytorch
  • OpenFlamingo

Flamingo — Pytorch

在 Pytorch 中实现 Flamingo。包括感知器重采样器（包括学习查询贡献要注意的键/值的方案，以及媒体嵌入）、专门的掩码交叉注意力块，以及交叉注意力末端的 tanh 门控 + 相应的前馈块。

OpenFlamingo

DeepMind Flamingo 模型的开源版本。提供了用于训练和评估 OpenFlamingo 模型的 PyTorch 实现。还提供了在新的多模态 C4 数据集（即将推出）上训练的初始 OpenFlamingo 9B 模型。

FLAN (Google)

包含用于生成指令调优数据集集合的代码。 第一个是原始的 Flan 2021，记录在 Finetuned Language Models are Zero-Shot Learners 中；第二个是扩展版本，被称为 Flan Collection，记录在 The Flan Collection: Designing Data and Methods for Effective Instruction Tuning 中，用于生成 Flan-T5 和 Flan-PaLM。

以下是基于 FLAN 项目的衍生模型或类似模型：

  • Flan-Alpaca
  • Flan-UL2

Flan-Alpaca

来自人类和机器的指令调优。 包含用于将 Stanford Alpaca 合成指令调优扩展到现有指令调优模型（例如 Flan-T5）的代码。 HuggingFace 上提供了预训练模型和演示。

Flan-UL2

Flan-UL2是基于T5架构的编解码器模型。 它使用与去年早些时候发布的 UL2 模型相同的配置。 使用“Flan”提示调整和数据集收集对其进行了微调。

GLM (General Language Model)

GLM 是一种使用自回归填空目标进行预训练的通用语言模型，可以针对各种自然语言理解和生成任务进行微调。

以下是基于 GLM 项目的衍生模型或类似模型：

  • GLM-130B
  • ChatGLM-6B

GLM-130B

GLM-130B是一个开放的双语（英汉）双向密集模型，拥有1300亿个参数，使用通用语言模型（GLM）的算法进行预训练。 它旨在在单台A100（40G 8）或V100（32G 8）服务器上用具有130B参数模型进行推理任务。 通过 INT4 量化，硬件要求可以进一步降低到具有 4 * RTX 3090（24G）的单个服务器，而性能几乎没有下降。 截至 2022 年 7 月 3 日，GLM-130B 已经接受了超过 4000 亿个文本标记的训练（中文和英文各 200B）。

ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

GPT-J (EleutherAI)

GPT-J 是 EleutherAI 开发的开源人工智能语言模型。GPT-J 在各种零样本下游任务上的表现与 OpenAI 的 GPT-3 非常相似，甚至在代码生成任务上的表现优于它。

最新版本 GPT-J-6B 是一种基于名为 The Pile) 的数据集的语言模型。The Pile 是一个开源的 825 GB 语言建模数据集，分为 22 个较小的数据集。GPT-J 在能力上与 ChatGPT 类似，虽然它不具有聊天机器人的功能，仅作为文本预测器。

以下是基于 GPT-J 项目的衍生模型或类似模型：

  • Dolly

Dolly (Databricks)

Databricks 的 Dolly 是一个在 Databricks 机器学习平台上训练的大型语言模型，它基于开源模型 (GPT-J) 在对 50k的重点语料库(Stanford Alpaca)进行仅 30 分钟的微调 ，就表现出令人惊讶的高质量指令遵循行为。 我们认为这一发现很重要，因为它表明创造强大的人工智能技术的能力比以前意识到的要容易得多。

Cerebras-GPT (Cerebras)

一系列开源、高效的大型语言模型。 Cerebras 开源了七个 GPT-3 模型，参数从 1.11 亿到 130 亿。 这些模型使用 Chinchilla 公式进行训练，为准确性和计算效率设定了新的基准。

GPT-NeoX

该项目记录了 EleutherAI 用于在 GPU 上训练大规模语言模型的库。 当前的框架基于 NVIDIA 的 Megatron 语言模型，并通过 DeepSpeed 技术以及一些新颖的优化得到了增强。 目标是使这个项目成为一个可访问的集散地，以收集训练大规模自回归语言模型的技术，并加速对大规模训练的研究。

HuggingGPT

HuggingGPT 是一个协作系统，由作为控制器的 LLM 和作为协作执行者的众多专家模型组成（来自 HuggingFace Hub）。

Polyglot

多语言均衡能力的大型语言模型。 由于对当前多语言模型的非英语性能不满意，Polyglot团队制作了非英语语言性能更高的多语言模型，并将其命名为“Polyglot”。

Pythia

跨时间和尺度解释自回归Transformer

Segment Anything

Segment Anything Model (SAM) 根据输入提示（例如点或框）生成高质量的对象掩码，它可用于为图像中的所有对象生成掩码。 它已经在 1100 万张图像和 11 亿个掩码的数据集上进行了训练，并且在各种分割任务上具有很强的零样本性能。

The RWKV Language Model

RWKV：具有 Transformer 级 LLM 性能的可并行化 RNN（RWKV来自Transformer的4 个主要参数：R W K V）

XGLM

XGLM 模型是 Few-shot Learning with Multilingual Language Models 中提出的模型。

文章标签：
C++
自然语言处理
机器学习/深度学习
算法框架/工具
异构计算
机器人
PyTorch
物联网
芯片
算法
关键词：
大语言模型LLM
JarodYv
目录
相关文章
游客yklred6fma7xc
|
29天前
|
人工智能 自然语言处理 前端开发
基于RAG和LLM的水利知识大语言模型系统开发有感
在数字化时代，水利行业的智能化管理尤为重要。本文介绍了基于大语言模型（LLM）和检索增强生成（RAG）技术的水利知识问答系统的开发过程。该系统结合了前沿AI技术和水利专业知识，通过构建全面的水利知识库，优化用户体验，确保系统的灵活性和可扩展性。项目展示了AI技术在垂直领域的巨大潜力，为水利行业的智能化发展贡献力量。
游客yklred6fma7xc
58 1
楠竹11
|
3月前
|
人工智能 自然语言处理
FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型
【8月更文挑战第22天】《FBI-LLM：通过自回归蒸馏从头开始扩展全二值化大语言模型》由Ma等学者发布于arXiv。该研究呈现了首个完全从头训练的全二值化大语言模型FBI-LLM，在不牺牲性能的前提下大幅降低计算资源需求。通过自回归蒸馏技术，FBI-LLM在多种任务上展现出与高精度模型相当的表现，为二值化模型的发展开辟新路径，并有望推动专用硬件的进步。研究者公开了所有相关资源以促进领域内的进一步探索。
楠竹11
56 10
ModelScope内容运营小助手
|
4月前
|
API
可控细节的长文档摘要，探索开源LLM工具与实践
本文通过将文档分为几部分来解决这个问题，然后分段生成摘要。在对大语言模型进行多次查询后，可以重建完整的摘要。通过控制文本块的数量及其大小，我们最终可以控制输出中的细节级别。
ModelScope内容运营小助手
150 2
小言从不摸鱼
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】LLM主流开源大模型介绍
【AI大模型】LLM主流开源大模型介绍
小言从不摸鱼
120 5
大侠之运维
|
6月前
|
Kubernetes 搜索推荐 API
【开源推荐】定制化私有LLM客户端
【5月更文挑战第11天】
大侠之运维
137 2
ModelScope内容运营小助手
|
1月前
|
计算机视觉
Deepseek开源多模态LLM模型框架Janus，魔搭社区最佳实践
deepseek近期推出了简单、统一且灵活的多模态框架Janus，它能够统一处理多模态理解和生成任务。让我们一起来了解一下吧。
ModelScope内容运营小助手
76 0
游客r6egmfwjxwbeu
|
1月前
|
人工智能 API 调度
大语言模型 LLM 管理功能特点解析
大语言模型领域正快速发展，涵盖技术革新、跨领域应用及行业影响。随着技术进步，更多创新性AI应用和服务涌现。Botnow加速迭代AI应用开发平台，赋能各行各业。新发布的模型管理功能包括模型仓库和模型服务，支持模型文件托管、部署及推理服务，提升使用效率，降低成本。模型服务具备本地推理和接入外部模型的能力，满足中大型企业对大语言模型自主可控的需求。
游客r6egmfwjxwbeu
49 0
楠竹11
|
2月前
|
算法 测试技术 AI芯片
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法，旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理，支持混合精度矩阵乘法，无需解量化。其通过位级查表实现统一且可扩展的解决方案，优化数据布局和重用率，显著提升了单线程和多线程下的mpGEMV及mpGEMM性能，并在端到端推理吞吐量和能效方面表现出色。然而，表量化和快速聚合技术可能引入近似和数值误差，影响模型准确性。论文详见：[链接](https://www.arxiv.org/pdf/2407.00088)。
楠竹11
140 10
hannahc001
|
3月前
|
数据采集 人工智能 监控
赌你一定想要！OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
Label-LLM 是一款专为大模型训练设计的多模态文本对话标注工具，支持团队协作，让标注工作变得简单高效。它不仅涵盖丰富的任务类型，如回答采集、偏好收集和内容评估等，还支持多模态数据标注，包括图像、视频和音频。Label-LLM具备预标注载入功能，能大幅提升工作效率，并提供全方位的任务管理与可视化分析，确保标注质量。快来体验这款强大的标注平台吧！[部署文档](https://github.com/opendatalab/LabelLLM)
hannahc001
667 0
赌你一定想要！OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
楠竹11
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
歌发布专用于个人健康的大语言模型PH-LLM
【8月更文挑战第8天】谷歌推出个人健康大语言模型（PH-LLM），利用个人健康数据提供定制化建议。通过三大数据集评估，PH-LLM在睡眠和健身场景中表现出色，多项选择题测试中正确率分别达79%和88%，超越专家平均水平。它还能预测自我报告的睡眠质量，性能媲美专业模型。尽管如此，PH-LLM仍需克服可靠性、复杂性等挑战。此模型标志着AI在个人健康管理上的重要进展。[论文](https://arxiv.org/abs/2406.06474)
楠竹11
57 1

ModelScope模型即服务

热门文章

最新文章

  • 1
    阿里云通义千问向全社会开放！
  • 2
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 3
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 4
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 5
    通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！
  • 6
    自然语言处理Transformer模型最详细讲解（图解版）
  • 7
    【RAG实践】Rerank，让RAG更近一步
  • 8
    开源版图生视频I2VGen-XL：单张图片生成高质量视频
  • 9
    vanna+qwen实现私有模型的SQL转换
  • 10
    【机器学习技巧】回归模型的几个常用评估指标（R2、Adjusted-R2、MSE、RMSE、MAE、MAPE）及其在sklearn中的调用方式
  • 1
    关于大模型语料的迷思
    22
  • 2
    VideoChat：高效学习新神器！一键解读音视频内容，结合 AI 生成总结内容、思维导图和智能问答
    37
  • 3
    AI Agents Loop异步执行可视化Tutorial 借助AgentBoard工具可视化工作流
    39
  • 4
    今日 AI 开源｜共 12 项｜开源的DIY健康追踪项目，基于低成本的智能戒指构建私人的健康监测应用
    74
  • 5
    Open Interpreter：AI 赋能终端！在终端中对话AI模型进行编程，通过运行代码来完成各种计算机操作任务
    45
  • 6
    AI Shell：在命令行里“对话” AI ，微软推出将 AI 助手引入命令行的 CLI 工具，打造对话式交互命令行
    29
  • 7
    今日 AI 开源｜共 4 项｜DeepSeek 推出新一代 AI 推理模型，实力比肩 OpenAI o1-preview！
    51
  • 8
    最佳实践！使用 GraphRAG + GLM-4 对《红楼梦》全文构建中文增强检索
    42
  • 9
    WebChat：开源的网页内容增强问答 AI 助手，基于 Chrome 扩展的最佳实践开发，支持自定义 API 和本地大模型
    23
  • 10
    Documind：开源 AI 文档处理工具，将 PDF 转换为图像提取结构化数据
    47

    • 相关课程

    更多
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 深度学习框架TensorFlow入门
  • 深度学习理论与实战（基于TensorFlow实现）
  • 机器学习集成学习与模型融合
  • 【算法实战】1. 机器学习基础
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务

    • 相关电子书

    更多
  • PAI灵骏智算 构建全链路LLM服务的最佳实践
  • AI模型训练解决方案V1.4
  • 通用多模态AI构建

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 在SAE控制台极速部署个人LLM效能工具
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 函数计算一键部署AI大语言模型并会话
  • 【玩转ComfyUI】基于函数计算一键部署AI生图平台 ComfyUI
    • 下一篇
    无影云桌面