ChatGPT时代的开源解法,「白泽」一作亲自解读

简介: hatGPT时代的开源解法,「白泽」一作亲自解读



ChatGPT 等聊天模型已显示出令人印象深刻的功能,并已在众多领域被迅速采用。然而,这些模型只能通过受限的 API 访问,这为该领域的进一步研究和进步设下了重重障碍。此外,由于缺乏多轮对话的高质量聊天语料,更是加剧了这个问题,进而限制了改进和评估这些模型的可能性。

不久之前,Meta「开源」了一个新的大模型系列 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过参数量达 1750 亿的 GPT-3。然而从 ChatGPT 和 GPT-4 的发展中我们可以看到,高质量的标注数据仍然至关重要,OpenAI 对数据和标注工作下了很大力气。

对于学界来说,很难在短期做同样的事。我们不禁会问有没有更好的方法呢?此前,机器之心报道的一篇文章中,来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了「白泽」。具体来说,他们提出了一个自动收集 ChatGPT 对话的流水线,通过从特定数据集中采样「种子」的方式,让 ChatGPT 自我对话,批量生成高质量多轮对话数据集。其中如果使用领域特定数据集,比如医学问答数据集,就可以生成高质量垂直领域语料。

白泽目前包括四种英语模型:白泽 -7B、13B 和 30B(通用对话模型),以及一个垂直领域的白泽 - 医疗模型,供研究 / 非商业用途使用,并计划在未来发布中文的白泽模型。白泽的数据处理、训练模型、Demo 等全部代码已经开源。

为了更好的帮助大家了解这项研究,机器之心最新一期线上分享(即本周二晚上 8-9 点)邀请到了论文一作许灿文,为大家解读他们近期的工作 「白泽」。


分享主题:Baize 白泽 ——ChatGPT 时代的开源解法

嘉宾简介:许灿文,加州大学圣迭戈分校博士候选人,曾于 Hugging Face 任研究员,并在 Google Research、微软研究院等实习。屡次担任 ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、WWW 等顶会审稿人。

分享摘要:本次主要分享开源聊天模型 Baize 白泽提出的「自聊天」数据收集管线以及训练细节,详细分析与其他开源聊天模型的异同。此外,作者还将分享通过训练 Baize 模型,获得的对于聊天模型的新理解、新发现,对于如何防止模型被滥用、如何减少有害输出方面的心得和思考。

相关链接 论文链接:https://arxiv.org/abs/2304.01196Github 链接:https://github.com/project-baize/baize-chatbot

相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
【极客技术】ColossalChat用完整RLHF技术克隆ChatGPT的开源解决方案
【极客技术】ColossalChat用完整RLHF技术克隆ChatGPT的开源解决方案
143 0
【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程
【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程
547 0
|
5月前
|
人工智能 自然语言处理 搜索推荐
微软开源基于ChatGPT的,超级文本代码智能体
【7月更文挑战第17天】微软的TaskWeaver是开源的LLM框架,聚焦领域特定数据分析与个性化需求。它以代码优先,将用户请求转为可执行代码,增强处理复杂任务的效率和准确性。通过用户定义插件实现定制,适应多种场景。然而,转化请求可能引入复杂性和错误,非技术用户使用插件有难度,且开源带来的安全与隐私问题需关注。[论文链接](https://arxiv.org/abs/2311.17541)**
73 4
|
7月前
|
人工智能 测试技术 开发者
马斯克将在本周,开源类ChatGPT产品Grok
【2月更文挑战第21天】马斯克将在本周,开源类ChatGPT产品Grok
85 1
马斯克将在本周,开源类ChatGPT产品Grok
|
7月前
|
人工智能 前端开发 API
借助chat-web前端开源项目搭建属于自己的ChatGPT镜像站
借助chat-web前端开源项目搭建属于自己的ChatGPT镜像站
566 0
|
机器学习/深度学习 人工智能 前端开发
优雅码住!ChatGPT的五大开源替代方案
优雅码住!ChatGPT的五大开源替代方案
467 0
|
机器人
第一个超越ChatGPT的开源模型来了?网友并不买账
第一个超越ChatGPT的开源模型来了?网友并不买账
341 1
|
人工智能 自然语言处理 监控
SolidUI社区-从开源社区角度思考苹果下架多款ChatGPT应用
SolidUI社区-从开源社区角度思考苹果下架多款ChatGPT应用
97 0
|
机器学习/深度学习 人工智能 算法
开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPT
开源中文医疗大模型华佗GPT来了,真人医生盲测效果优于ChatGPT
799 0
|
机器学习/深度学习 人工智能
ChatGPT 开源替代品 - Open Assistant 使用说明
ChatGPT 开源替代品 - Open Assistant 使用说明
319 0

热门文章

最新文章