AI大模型应用开发实战(01)-大语言模型发展

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,分割抠图1万点
简介: 【8月更文挑战第2天】

1 大语言模型发展

LLM(Large Language Model),大语言模型,为啥叫2.0?因为LLM出现前的1.0时代,主要是NLP(自然语言处理)工程,共性:通用性差。整个AI领域终极愿景是AGI(Artificial General Intelligence,人工通用智能)。

1.0可能是一个单任务的AI。如深蓝战胜象棋冠军,他只会下象棋,而且是学习了很多下棋套路,他只会干这一个事,问他别的啥都不知道。

2 LLM特点

LLM可以像语言一样跟我们交互,通过语言,它可扩展到很多场景。未来可能从依据LLM,发展出真的AGI,跟人类一样拥有智慧的智能体。

2.0开始,技术层基本是从点到面。最早的词向量技术,把自然语言的词语,使用向量表示。向量是一个数学概念,如猫这词在向量空间表示成一个坐标。狗就跟它有区别,牛又不一样。可理解为,每个词在向量空间都有唯一坐标,然后构成词典。使用这种one-hot方式表示,如苹果标注成101坐标。把自然语言,通过数学语言描述,而且它是个坐标,可精准找到位置。

3 大模型的不足和解决方案

  • 无法表达词语词语之间的关系。如猫1这样坐标,和狗01坐标,之间啥关系?不知道!
  • 效率不高

于是,在词向量的基础,出现

4 词嵌入(embedding)

叫词向量也可,就是对语言模型进行预训练。

通过大量现有文章资料,让这些词向量具备语言信息。预训练后的词向量,它在这向量空间,就带上额外信息,有效提升模型效果。且后续其他任务中间,去做一个迁移。

如猫、狗,通过坐标标注,让它有这种低维向量表示。还可有语义相似的一个向量空间相近,好比认为,猫和狗,通过预训练这些大量语料,我们发现猫、狗同属宠物。那可能这两个坐标点,在向量空间里比较接近。如找宠物时,在这向量空间里,猫和狗就是在宠物向量域。牛和羊属常用肉家畜,可能就在那个向量域。

所以,词向量就是一个地位向量表示,再一个是语义相似的向量空间。它能迁移学习,把这个任务,迁移到其他任务里。深蓝的下棋例子,就可以把它的技能去迁移。

词嵌入之后,又出现

5 巨向量和全文向量

根据这个前文信息,去分析下文或根据本文翻译成另一种语言。它代表的一些模型,如:

  • RNN(Recurrent Neural Network,循环神经网络)
  • LSTM(Long Short-Term Memory,长短期记忆网络)

可有效处理这种时序数据。"What time is it?",训练时,它是一层一层的,它第一层神经网络,可能先看到"What",然后"time","is","it",最后看到问号。它会通过这样的顺序,去处理语句,去做一个上下文理解。

它还可做到一些短时记忆和选择性遗忘,即RNN和LSTM,它主要应用在像文本生成、语音识别和图像描述等。这时就比如说类似RNN和LSTM这样的模型出现,它已经可以做到我们常见的一些AI识别。

再往后就到理解上下文,就是全文的上下文,如"买什么 什么is"这个这个模式理解上下文,这个模式代表作是类似比如说这个BERT这样大模型。到这阶段,已经可完成类似完形填空任务。那它就是根据上下文理解当前的代词,比如说男他女她动物它是什么,完成这个完形填空。那么这个时候就属于所谓的真域训练模型时代开启。

特点

支持并行训练,如说CNN(Convolutional Neural Network,卷积神经网络)这个模型比,就比如说这个"What time is it",只能一层一层处理,不支持并行训练。必须完成这个事情之后再做下一个事情。

所以呢,它替代RNN和CNN这样神经网络,更强大,可以实现一些类似语义识别。

最后就是OpenAI这GPT(Generative Pre-trained Transformer)出现,这个模型出现为代表,我们就正式进入了这种超大模型和模型统一的时代。从谷歌T5(Text-to-Text Transfer Transformer)这个模型开始的时候,它是引入了的这样的一个模式来训练模型。也就是说,它是把提示词告诉模型,然后把答案训练出来,然后不停的用这样的模式来训练模型。那么当我们在问模型这些问题的时候,其实也是通过,通过提示词,通过prompt的方式来引导它。所以到这个时代的时候呢,那我们以chatgpt为代表,我们发现它的效果非常惊艳。最新的成果就是说,我们的大模型已经支持了多模态,OpenAI开启的这个大模型时代呢,它其实是把这个,一种基于的这种训练模型这种方式提了出来。

整个的大模型的发展,就是一个从点到面的发展过程。最核心也是最早的是基于这个词向量的技术。通过这个不断发展到神经网络,到这种单线的,到并行训练,最后直到超大规模训练集,实现一个大语言模型发展。

目录
相关文章
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
Baichuan-M1-14B 是百川智能推出的首个开源医疗增强大模型,专为医疗场景优化,支持多语言、快速推理,具备强大的医疗推理能力和通用能力。
66 16
Baichuan-M1-14B:AI 助力医疗推理,为患者提供专业的建议!百川智能开源业内首个医疗增强大模型,普及医学的新渠道!
|
13天前
|
人工智能 数据处理 语音技术
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
Pipecat 是一个开源的 Python 框架,专注于构建语音和多模态对话代理,支持与多种 AI 服务集成,提供实时处理能力,适用于语音助手、企业服务等场景。
72 23
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
|
6天前
|
人工智能 测试技术 Python
VideoChat-Flash:上海AI Lab开源高效处理超长视频的多模态大模型
VideoChat-Flash 是上海人工智能实验室等机构推出的多模态大模型,通过分层压缩技术高效处理长视频,支持长达数小时的视频输入,推理速度提升5-10倍。
35 1
VideoChat-Flash:上海AI Lab开源高效处理超长视频的多模态大模型
|
13天前
|
弹性计算 人工智能 自然语言处理
OS Copilot——面向未来的AI大模型
阿里云的智能助手`OS Copilot`是一款基于大模型构建的操作系统智能助手,支持自然语言问答、辅助命令执行、系统运维调优等功能。
45 8
OS Copilot——面向未来的AI大模型
|
6天前
|
人工智能 供应链 搜索推荐
大模型进化论:AI产业落地将卷向何方?
大模型进化论:AI产业落地将卷向何方?
44 11
|
13天前
|
机器学习/深度学习 存储 人工智能
淘天算法工程师玩转《黑神话》,多模态大模型如何成为天命AI
淘天集团未来生活实验室的算法工程师们以ARPG游戏《黑神话:悟空》为平台,探索多模态大模型(VLM)在仅需纯视觉输入和复杂动作输出场景中的能力边界。他们提出了一种名为VARP的新框架,该框架由动作规划系统和人类引导的轨迹系统组成,成功在90%的简单和中等难度战斗场景中取得胜利。研究展示了VLMs在传统上由强化学习主导的任务中的潜力,并提供了宝贵的人类操作数据集,为未来研究奠定了基础。
|
14天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
11天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
144 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
5天前
|
人工智能 自然语言处理 JavaScript
微软开源课程!21节课程教你开发生成式 AI 应用所需了解的一切
微软推出的生成式 AI 入门课程,涵盖 21 节课程,帮助开发者快速掌握生成式 AI 应用开发,支持 Python 和 TypeScript 代码示例。
101 14
|
3天前
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
28 9