模型介绍
今日,百川智能发布130亿参数通用大语言模型Baichuan-13B-base和对话模型Baichuan-13B-Chat。两个模型全都开源、免费、可商用,均已在魔搭社区上架,属于国内首发。
6 月 15 日,百川智能刚刚发布第一款 70 亿参数规模的中英文语言模型 Baichuan-7B,该模型也于当天在魔搭上架。
对比 Baichuan-7B,Baichuan-13B拥有更多参数和语料,模型参数130亿,在1.4万亿token数据集上训练,训练数据量超过LLaMA-13B 40%,是当前开源13B尺寸下训练数据量最多的模型。
本次发布,共包含基础模型(Baichuan-13B-Base)和对齐模型(Baichuan-13B-Chat)两个版本。基础模型是适用于开发者的“基座”,具有对话功能的对齐模型则可以满足普通用户的需求。
为了进一步降低模型使用门槛,满足更广大用户的需求,百川智能还开源了对齐模型(Baichuan-13B-Chat)的int8和int4两个量化版本,相对非量化版本,可以在几乎没有效果损失的情况下大幅降低部署门槛,比如将模型部署在Nvidia 3090等消费级显卡上。
此次推出的 Baichuan-13B 对学术研究完全开放,其他开发者也可通过邮件向百川智能申请授权,并获得官方商用许可后即可免费商用。
魔搭社区成立于2022年11月,致力于成为中国开源大模型第一平台,现已聚集 180 多万 AI 开发者,模型下载总量超过 3600 万次,累计开源开放 900多个优质AI模型,模型贡献者包括20多家顶尖人工智能机构,基本覆盖国内大模型赛道核心玩家,如百川智能、哔哩哔哩、IDEA研究院、兰丁股份、澜舟科技、openBMB社区、启智社区、清华TSAIL、RWKV、深势科技、WeNet社区、元语智能、浙江大学、智谱AI等(排名不分先后),他们贡献了30多个10亿以上参数规模的开源大模型。
找大模型,上魔搭!
模型链接
基础模型链接:
https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Base/summary
对话模型链接:
https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Chat/summary