1 大语言模型发展
LLM（Large Language Model），大语言模型，为啥叫2.0？因为LLM出现前的1.0时代，主要是NLP（自然语言处理）工程，共性：通用性差。整个AI领域终极愿景是AGI（Artificial General Intelligence，人工通用智能）。
1.0可能是一个单任务的AI。如深蓝战胜象棋冠军，他只会下象棋，而且是学习了很多下棋套路，他只会干这一个事，问他别的啥都不知道。
2 LLM特点
LLM可以像语言一样跟我们交互，通过语言，它可扩展到很多场景。未来可能从依据LLM，发展出真的AGI,跟人类一样拥有智慧的智能体。
2.0开始，技术层基本是从点到面。最早的词向量技术，把自然语言的词语，使用向量表示。向量是一个数学概念，如猫这词在向量空间表示成一个坐标。狗就跟它有区别，牛又不一样。可理解为，每个词在向量空间都有唯一坐标，然后构成词典。使用这种one-hot方式表示，如苹果标注成101坐标。把自然语言，通过数学语言描述，而且它是个坐标，可精准找到位置。
3 大模型的不足和解决方案
- 无法表达词语词语之间的关系。如猫1这样坐标，和狗01坐标，之间啥关系？不知道！
- 效率不高
于是，在词向量的基础，出现
4 词嵌入（embedding）
叫词向量也可，就是对语言模型进行预训练。
通过大量现有文章资料，让这些词向量具备语言信息。预训练后的词向量，它在这向量空间，就带上额外信息，有效提升模型效果。且后续其他任务中间，去做一个迁移。
如猫、狗，通过坐标标注，让它有这种低维向量表示。还可有语义相似的一个向量空间相近，好比认为，猫和狗，通过预训练这些大量语料，我们发现猫、狗同属宠物。那可能这两个坐标点，在向量空间里比较接近。如找宠物时，在这向量空间里，猫和狗就是在宠物向量域。牛和羊属常用肉家畜，可能就在那个向量域。
所以，词向量就是一个地位向量表示，再一个是语义相似的向量空间。它能迁移学习，把这个任务，迁移到其他任务里。深蓝的下棋例子，就可以把它的技能去迁移。
词嵌入之后，又出现
5 巨向量和全文向量
根据这个前文信息，去分析下文或根据本文翻译成另一种语言。它代表的一些模型，如：
- RNN（Recurrent Neural Network，循环神经网络）
- LSTM（Long Short-Term Memory，长短期记忆网络）
可有效处理这种时序数据。"What time is it？"，训练时，它是一层一层的，它第一层神经网络，可能先看到"What"，然后"time"，"is"，"it"，最后看到问号。它会通过这样的顺序，去处理语句，去做一个上下文理解。
它还可做到一些短时记忆和选择性遗忘，即RNN和LSTM，它主要应用在像文本生成、语音识别和图像描述等。这时就比如说类似RNN和LSTM这样的模型出现，它已经可以做到我们常见的一些AI识别。
再往后就到理解上下文，就是全文的上下文，如"买什么 什么is"这个这个模式理解上下文，这个模式代表作是类似比如说这个BERT这样大模型。到这阶段，已经可完成类似完形填空任务。那它就是根据上下文理解当前的代词，比如说男他女她动物它是什么，完成这个完形填空。那么这个时候就属于所谓的真域训练模型时代开启。
特点
支持并行训练，如说CNN（Convolutional Neural Network，卷积神经网络）这个模型比，就比如说这个"What time is it"，只能一层一层处理，不支持并行训练。必须完成这个事情之后再做下一个事情。
所以呢，它替代RNN和CNN这样神经网络，更强大，可以实现一些类似语义识别。
最后就是OpenAI这GPT（Generative Pre-trained Transformer）出现，这个模型出现为代表，我们就正式进入了这种超大模型和模型统一的时代。从谷歌T5（Text-to-Text Transfer Transformer）这个模型开始的时候，它是引入了的这样的一个模式来训练模型。也就是说，它是把提示词告诉模型，然后把答案训练出来，然后不停的用这样的模式来训练模型。那么当我们在问模型这些问题的时候，其实也是通过，通过提示词，通过prompt的方式来引导它。所以到这个时代的时候呢，那我们以chatgpt为代表，我们发现它的效果非常惊艳。最新的成果就是说，我们的大模型已经支持了多模态，OpenAI开启的这个大模型时代呢，它其实是把这个，一种基于的这种训练模型这种方式提了出来。
整个的大模型的发展，就是一个从点到面的发展过程。最核心也是最早的是基于这个词向量的技术。通过这个不断发展到神经网络，到这种单线的，到并行训练，最后直到超大规模训练集，实现一个大语言模型发展。
