GPT-3-中文-large模型有175亿个参数,是一种大型预训练自然语言处理(NLP)模型。
GPT-3的参数量高达1750亿,相比之下,GPT-2的最大版本只有15亿个参数,由此可见GTP-3的强大能力,根据深度学习之父、图灵奖得主Geoffrey Hinton的表示,从GPT-3惊人的性能可以推测:生命、宇宙和万物的答案,只需要4.398万亿个参数而已。由此可见GTP-3的强大能力是划时代的。
【回答】
gpt-3使用的数据集容量达到了45TB,
gpt-3具有1750亿个参数,
一个gpt-3 模型可能需要要 700G的硬盘空间来存储
有base/large/1.3B/2.7B/13B/30B/175B等不同参数的版本,现在除了175B的版本都已经上线,175B的版本正在训练中,
阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG(Pre-training for Language Understanding and Generation)。该模型参数规模达270亿,集语言理解与生成能力于一身,在小说创作、诗歌生成、智能问答等长文本生成领域表现突出,其目标是通过超大模型的能力,大幅提升中文NLP各类任务的表现,取得超越人类表现的性能。发布后,PLUG刷新了中文语言理解评测基准CLUE分类榜单历史纪录。
BERT论文中提到的BERT-base有1亿参数和BERT-large有3亿参数;最近的GPT-3和PaLM的large更是高达1750亿参数和5400亿参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。