AI大模型应用开发实战(01)-大语言模型发展

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: 【8月更文挑战第2天】

1 大语言模型发展

LLM(Large Language Model),大语言模型,为啥叫2.0?因为LLM出现前的1.0时代,主要是NLP(自然语言处理)工程,共性:通用性差。整个AI领域终极愿景是AGI(Artificial General Intelligence,人工通用智能)。

1.0可能是一个单任务的AI。如深蓝战胜象棋冠军,他只会下象棋,而且是学习了很多下棋套路,他只会干这一个事,问他别的啥都不知道。

2 LLM特点

LLM可以像语言一样跟我们交互,通过语言,它可扩展到很多场景。未来可能从依据LLM,发展出真的AGI,跟人类一样拥有智慧的智能体。

2.0开始,技术层基本是从点到面。最早的词向量技术,把自然语言的词语,使用向量表示。向量是一个数学概念,如猫这词在向量空间表示成一个坐标。狗就跟它有区别,牛又不一样。可理解为,每个词在向量空间都有唯一坐标,然后构成词典。使用这种one-hot方式表示,如苹果标注成101坐标。把自然语言,通过数学语言描述,而且它是个坐标,可精准找到位置。

3 大模型的不足和解决方案

  • 无法表达词语词语之间的关系。如猫1这样坐标,和狗01坐标,之间啥关系?不知道!
  • 效率不高

于是,在词向量的基础,出现

4 词嵌入(embedding)

叫词向量也可,就是对语言模型进行预训练。

通过大量现有文章资料,让这些词向量具备语言信息。预训练后的词向量,它在这向量空间,就带上额外信息,有效提升模型效果。且后续其他任务中间,去做一个迁移。

如猫、狗,通过坐标标注,让它有这种低维向量表示。还可有语义相似的一个向量空间相近,好比认为,猫和狗,通过预训练这些大量语料,我们发现猫、狗同属宠物。那可能这两个坐标点,在向量空间里比较接近。如找宠物时,在这向量空间里,猫和狗就是在宠物向量域。牛和羊属常用肉家畜,可能就在那个向量域。

所以,词向量就是一个地位向量表示,再一个是语义相似的向量空间。它能迁移学习,把这个任务,迁移到其他任务里。深蓝的下棋例子,就可以把它的技能去迁移。

词嵌入之后,又出现

5 巨向量和全文向量

根据这个前文信息,去分析下文或根据本文翻译成另一种语言。它代表的一些模型,如:

  • RNN(Recurrent Neural Network,循环神经网络)
  • LSTM(Long Short-Term Memory,长短期记忆网络)

可有效处理这种时序数据。"What time is it?",训练时,它是一层一层的,它第一层神经网络,可能先看到"What",然后"time","is","it",最后看到问号。它会通过这样的顺序,去处理语句,去做一个上下文理解。

它还可做到一些短时记忆和选择性遗忘,即RNN和LSTM,它主要应用在像文本生成、语音识别和图像描述等。这时就比如说类似RNN和LSTM这样的模型出现,它已经可以做到我们常见的一些AI识别。

再往后就到理解上下文,就是全文的上下文,如"买什么 什么is"这个这个模式理解上下文,这个模式代表作是类似比如说这个BERT这样大模型。到这阶段,已经可完成类似完形填空任务。那它就是根据上下文理解当前的代词,比如说男他女她动物它是什么,完成这个完形填空。那么这个时候就属于所谓的真域训练模型时代开启。

特点

支持并行训练,如说CNN(Convolutional Neural Network,卷积神经网络)这个模型比,就比如说这个"What time is it",只能一层一层处理,不支持并行训练。必须完成这个事情之后再做下一个事情。

所以呢,它替代RNN和CNN这样神经网络,更强大,可以实现一些类似语义识别。

最后就是OpenAI这GPT(Generative Pre-trained Transformer)出现,这个模型出现为代表,我们就正式进入了这种超大模型和模型统一的时代。从谷歌T5(Text-to-Text Transfer Transformer)这个模型开始的时候,它是引入了的这样的一个模式来训练模型。也就是说,它是把提示词告诉模型,然后把答案训练出来,然后不停的用这样的模式来训练模型。那么当我们在问模型这些问题的时候,其实也是通过,通过提示词,通过prompt的方式来引导它。所以到这个时代的时候呢,那我们以chatgpt为代表,我们发现它的效果非常惊艳。最新的成果就是说,我们的大模型已经支持了多模态,OpenAI开启的这个大模型时代呢,它其实是把这个,一种基于的这种训练模型这种方式提了出来。

整个的大模型的发展,就是一个从点到面的发展过程。最核心也是最早的是基于这个词向量的技术。通过这个不断发展到神经网络,到这种单线的,到并行训练,最后直到超大规模训练集,实现一个大语言模型发展。

目录
相关文章
|
7天前
|
人工智能
AI大模型初体验
为了实现真正的A,需不断学习以提升能力。
32 3
AI大模型初体验
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
AI人工智能大模型的架构演进
随着深度学习的发展,AI大模型(Large Language Models, LLMs)在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进,包括从Transformer的提出到GPT、BERT、T5等模型的历史演变,并探讨这些模型的技术细节及其在现代人工智能中的核心作用。
23 9
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
AI战略丨物流 AI 新变化,用大模型定义
物流企业在大模型上纷纷主动探索,也在推动物流行业实现智能化加速。
|
8天前
|
人工智能 JSON 自然语言处理
你的Agent稳定吗?——基于大模型的AI工程实践思考
本文总结了作者在盒马智能客服的落地场景下的一些思考,从工程的角度阐述对Agent应用重要的稳定性因素和一些解法。
|
10天前
|
数据采集 人工智能 自然语言处理
AI战略丨赋能更好的教育, 大模型应用再提效
采用成熟厂商的解决方案,不仅仅是因为过硬的技术,还有对客户业务的理解,以及顺畅的沟通和服务能力。
|
3天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在现代医疗领域的革命性应用
随着人工智能技术的飞速发展,其在医疗领域的应用也日益广泛。本文将从AI技术在医疗诊断、治疗和健康管理等方面的应用入手,探讨其如何改变传统医疗模式,提高医疗服务质量和效率。同时,我们也将关注AI技术在医疗领域面临的挑战和未来发展趋势。
|
2天前
|
机器学习/深度学习 人工智能 编解码
深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
【9月更文挑战第2天】深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
 深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
|
3天前
|
机器学习/深度学习 存储 人工智能
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
【9月更文挑战第1天】AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术性文章
【9月更文挑战第10天】本文将探讨人工智能(AI)的基本原理、应用领域以及未来发展趋势。我们将通过一个简单的代码示例来展示AI的基本概念,并讨论如何将这些概念应用于实际问题中。最后,我们将展望AI的未来发展方向,并探讨它可能对社会带来的影响。
17 8
|
2天前
|
机器学习/深度学习 人工智能 自动驾驶
AI与未来:探索智能技术的新纪元
【9月更文挑战第9天】本文将探讨人工智能(AI)的发展历程、现状和未来趋势。我们将从AI的基本概念入手,逐步深入到其在各个领域的应用,以及它对社会的影响。最后,我们将展望AI的未来,探讨其可能带来的变革。