沉浸式学习PostgreSQL|PolarDB 17: 向量数据库, 通义大模型AI的外脑
chatbot是大模型应用之一, 在与chatbot沟通时会遇到token上限问题, 例如通义目前是8K, chatgpt是4K. 也就是问题上下文(包含多轮对话的内容)最多8k或4k, 超出就无法处理了.
解释一下token: 对于通义模型来说, 中文字符串的token就是字数(含符号). 英文则可能是词、片段等.
我们的核心目的是通过有限的上下文来拿到结果.
这就需要你的prompt(上下文)足够精确, 防止无效垃圾对话浪费token限额.
上下文的组成:
1、每一轮对话的提问内容和大模型的回答内容
2、外脑中的FAQ
这个实验体验的就是怎么建设AI的外脑?
向量数据库的核心价值:AI外脑
