大羊驼LLaMa竞品来了:AI画图最火公司开源语言模型,最小30亿参数

简介: 大羊驼LLaMa竞品来了:AI画图最火公司开源语言模型,最小30亿参数


编辑:泽南

直接开源,随便试用。

出 Stable Diffusion 的公司也出语言大模型了,效果还挺好。本周三,StableLM 的发布引来了科技圈的关注。


Stability AI 是近期势头正盛的创业公司,因为开源的 AI 画图工具 Stable Diffusion 而饱受好评。在周三的发布中,该公司宣布其语言大模型现已可供开发人员在 GitHub 上使用和改编。


与业内标杆 ChatGPT 一样,StableLM 旨在高效地生成文本和代码。它在名为 Pile 的开源数据集的更大版本上进行训练,其中包含来自各种来源的信息,包括维基百科、Stack Exchange 和 PubMed,共 22 个数据集,容量达到 825GB,1.5 万亿个 token。


Stability AI 表示,StableLM 模型目前可用版本的参数在 30 亿到 70 亿之间,未来将有 15 亿到 650 亿范围的多种参数模型可用。


项目链接:https://github.com/stability-AI/stableLM/


根据目前人们的测试,如果跑 7B 模型(8 bit),需要用到 12GB 的显存。


Stability AI 也放出了一些 StableLM 的问答示例:


StableLM 基于 Stability AI 此前与非营利组织 EleutherAI 合作开发的开源语言模型,包括 GPT-J、GPT-NeoX 和 Pythia,新模型面向尽可能大的用户群。此前在 Stable Diffusion 上,Stability AI 通过多种方式提供其文本到图像 AI 的技术,包括公开演示、软件测试版和模型的完整下载,也允许开发人员使用其工具并进行各种集成。


相比 OpenAI 的封闭,Stability AI 一直把自身定位为 AI 研究社区的一员,我们大概率会在 StableLM 上看到和上月发布的 Meta 开源 LLaMa 语言模型同样的情况。大量基于原版模型的算法可能会出现,在较小模型体量之上实现很好的效果。


StableLM 的微调版聊天界面。

此外,现在每个人都可以尝试在 Hugging Face 上托管的 StableLM 微调聊天模型上和 AI 进行对话:https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat


和所有语言大模型一样,StableLM 模型仍然存在「幻觉」问题,如果你尝试问它如何制作花生酱三明治,StableLM 会给出一个非常复杂且荒谬的食谱。它还建议人们在慰问卡上添加一张「有趣的图画」。


Stability AI 警告说,虽然它使用的数据集应该有助于「将基础语言模型引导到『更安全』的文本分布中,但并不是所有的偏见和毒性都可以通过微调来减轻。


现在 StableLM 模型已在 GitHub 存储库中上线。Stability AI 表示将在不久的将来发布一份完整的技术报告,此外还将启动众包 RLHF 计划,并与 Open Assistant 等社区合作,为 AI 聊天助手创建一个开源数据集。


参考内容:

https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

https://www.theverge.com/2023/4/19/23689883/stability-ai-open-source-large-language-model-stablelm


目录
打赏
0
0
0
0
367
分享
相关文章
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
142 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
345 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
122 27
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
53 14
猫步简历 - 开源免费AI简历生成器 | 一键导出PDF/JSON
猫步简历是一款免费开源的AI简历生成器,帮助用户轻松创建独特、专业的简历。支持导出超高清PDF、图片、JSON等多种格式,并提供AI智能创作、润色和多语种切换等功能。拥有海量模板、高度定制化模块及完善的后台管理系统,助力求职者脱颖而出。官网:https://maobucv.com,GitHub开源地址:https://github.com/Hacker233/resume-design。
66 10
ChatGPT-on-WeChat:Star32.4k, DeepSeek加持!这款开源神器秒变AI助手,聊天体验直接起飞!
嗨,大家好,我是小华同学。今天为大家介绍一款结合DeepSeek引擎的开源项目——ChatGPT-on-WeChat,由开发者zhayujie打造。它将微信变成智能AI助手,支持文本、图片、语音对话,具备定时提醒、天气查询等扩展功能,完全开源且易于定制。项目地址:https://github.com/zhayujie/chatgpt-on-wechat。关注我们,获取更多优质开源项目和高效学习方法。
106 11
Lumina-Video:上海 AI Lab 开源视频生成框架,动态程度可控,支持多分辨率
Lumina-Video 是由上海 AI Lab 和香港中文大学联合推出的高效视频生成框架,支持高质量视频生成、动态程度控制和多分辨率生成。
77 4
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
190 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
91 24
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等