大羊驼LLaMa竞品来了：AI画图最火公司开源语言模型，最小30亿参数-阿里云开发者社区

大羊驼LLaMa竞品来了：AI画图最火公司开源语言模型，最小30亿参数

2023-05-25 199

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 大羊驼LLaMa竞品来了：AI画图最火公司开源语言模型，最小30亿参数

编辑：泽南

直接开源，随便试用。

出 Stable Diffusion 的公司也出语言大模型了，效果还挺好。本周三，StableLM 的发布引来了科技圈的关注。

Stability AI 是近期势头正盛的创业公司，因为开源的 AI 画图工具 Stable Diffusion 而饱受好评。在周三的发布中，该公司宣布其语言大模型现已可供开发人员在 GitHub 上使用和改编。

与业内标杆 ChatGPT 一样，StableLM 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、Stack Exchange 和 PubMed，共 22 个数据集，容量达到 825GB，1.5 万亿个 token。

Stability AI 表示，StableLM 模型目前可用版本的参数在 30 亿到 70 亿之间，未来将有 15 亿到 650 亿范围的多种参数模型可用。

项目链接：https://github.com/stability-AI/stableLM/

根据目前人们的测试，如果跑 7B 模型（8 bit），需要用到 12GB 的显存。

Stability AI 也放出了一些 StableLM 的问答示例：

StableLM 基于 Stability AI 此前与非营利组织 EleutherAI 合作开发的开源语言模型，包括 GPT-J、GPT-NeoX 和 Pythia，新模型面向尽可能大的用户群。此前在 Stable Diffusion 上，Stability AI 通过多种方式提供其文本到图像 AI 的技术，包括公开演示、软件测试版和模型的完整下载，也允许开发人员使用其工具并进行各种集成。

相比 OpenAI 的封闭，Stability AI 一直把自身定位为 AI 研究社区的一员，我们大概率会在 StableLM 上看到和上月发布的 Meta 开源 LLaMa 语言模型同样的情况。大量基于原版模型的算法可能会出现，在较小模型体量之上实现很好的效果。

StableLM 的微调版聊天界面。