写回答
-
"GPT 对应的是三个单词：Generative，Pre-Training，Transformer。
Generative：生成式，比较好理解，通过学习历史数据，来生成全新的数据。ChatGPT 回答我们提出的问题时，是逐字（也有可能是三四个字符一起）生成的，如果你使用 ChatGPT 时仔细观察它回答你的方式，你可能会对「逐字」这个概念有更深的感触。这里逐字生成的时候每一个字（或词，在英文中也可能是词根）都可以被称作一个 token。
Pre-Training：预训练，顾名思义就是预先训练的意思。举个简单的例子，如果我们想让一个对英语一窍不通的同学去翻译并总结一篇英语技术文章，那么对这个同学来说就需要先学会英文 26 个字母，进而学会单词语法等，再去了解这篇文章相关的技术，最后才能去完成我们指派的任务。但是如果让一个对英语已经很精通的同学来做这个任务就相对简单的多，他只需要去大致了解一下这篇文章所涉及到的技术，便能很好的总结出来。
这就是预训练，先把一些通用能力提前训练出来。人工智能本身就是一个不断训练参数的过程，如果我们可以提前把通用能力相关的参数提前训练好，那么在一些特殊的场景，发现通用能力不能完全适配时，只做简单的参数微调即可，这样做大幅减少了每个独立训练预测任务的计算成本。
Transformer：这是 ChatGPT 的灵魂，它是一个神经网络架构。后文再进行详细的说明。
以上就是 ChatGPT 的基本概念，结合起来就是一个采用了预训练的生成式神经网络模型，它能够对人类的对话进行模拟。"2024-06-27 13:27:23赞同 2 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
