.chat
调用分析：
In [1]: q = '你好' In [2]: r, his = model.chat(tokenizer, q) In [3]: r Out[3]: '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。' In [4]: his Out[4]: [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。')] In [5]: q = '你可以做什么？' In [6]: r, his = model.chat(tokenizer, q, his) In [7]: r Out[7]: '我是一个大型语言模型，可以进行自然语言处理和生成。具体来说，我可以：\n\n1. 回答问题：像人类一样回答您的问题，或者提供 相关信息。\n\n2. 提供建议：根据您的问题提供一些建议，或者提供一些参考信息。\n\n3. 进行翻译：将一种语言翻译成另一种语言，或者将一种语言的文本翻译成另一种语言的文本。\n\n4. 生成文本：根据您的问题生成一些文本，比如文章、故事、新闻报道等。\n\n5. 自动文本摘要：自动概括文本的内容，并生成摘要。\n\n6. 情感分析：判断文本中情感的程度，并返回相应的情感信息。\n\n7. 智能对话：进行智能对话，与人类交流并完成任务。\n\n请注意，我是一个机器，我的回答可能不够准确，也可能会有所误导。' In [8]: his Out[8]: [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一个大型语言模型，可以进行自然语言处理和生成。具体来说，我可以：\n\n1. 回答问题：像人类一样回答您的问题，或者提供相关信息 。\n\n2. 提供建议：根据您的问题提供一些建议，或者提供一些参考信息。\n\n3. 进行翻译：将一种语言翻译成另一种语言，或者将一种语言的文本翻译成另一种语言的文本。\n\n4. 生成文本：根据您的问题生成一些文本，比如文章、故事、新闻报道等。\n\n5. 自动文本摘要：自动概括文本的内容，并生成摘要。\n\n6. 情感分析：判断文本中情感的程度，并返回相应的情感信息。\n\n7. 智能对话：进行智能对话，与人类交流并完成任务。\n\n请注意，我是一个机器，我的回答可能不够准确，也可能会有所误导。')]
源码：
@torch.inference_mode() def chat(self, tokenizer, query: str, history: List[Tuple[str, str]] = None, max_length: int = 8192, num_beams=1, do_sample=True, top_p=0.8, temperature=0.8, logits_processor=None, **kwargs): if history is None: history = [] if logits_processor is None: logits_processor = LogitsProcessorList() logits_processor.append(InvalidScoreLogitsProcessor()) # 组织模型配置项 gen_kwargs = {"max_length": max_length, "num_beams": num_beams, "do_sample": do_sample, "top_p": top_p, "temperature": temperature, "logits_processor": logits_processor, **kwargs} # 将历史问答和当前提问组成整个提问，然后传给分词器得到单词ID inputs = self.build_inputs(tokenizer, query, history=history) # 提问的单词 ID 输入模型得到回答的单词概率 outputs = self.generate(**inputs, **gen_kwargs) # 取第一个回答，并截断回答中的提问部分 ''' prompt: '你好, output: tensor([[64790, 64792, 790, 30951, 517, 30910, 30939, 30996, 13, 13, 54761, 31211, 39701, 13, 13, 55437, 31211, 36474, 54591, 243, 162, 148, 142, 31404, 33030, 34797, 42481, 22011, 10461, 30944, 30943, 30941, 30978, 30949, 31123, 48895, 35214, 54622, 31123, 32616, 39905, 31901, 31639, 31155, 2]], device='cuda:0') tokenizer.decode(output[0]): '[Round 1]\n\n问：你好\n\n答： 你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。' ''' outputs = outputs.tolist()[0][len(inputs["input_ids"][0]):] # 单词概率解码得到单词 response = tokenizer.decode(outputs) # 裁剪空白，替换训练时间 response = self.process_response(response) # 记录历史问答 history = history + [(query, response)] return response, history def build_inputs(self, tokenizer, query: str, history: List[Tuple[str, str]] = None): ''' 将历史问答和当前提问组装成整个输入 In [1]: tokenizer.build_prompt('Q3', [('Q1', 'A1'),('Q2', 'A2')]) Out[1]: '[Round 1]\n\n问：Q1\n\n答：A1\n\n[Round 2]\n\n问：Q2\n\n答：A2\n\n[Round 3]\n\n问：Q3\n\n答：' ''' prompt = tokenizer.build_prompt(query, history=history) ''' 整个提问传给分词器得到单词ID In [2]: tokenizer(['你好'], return_tensors="pt") Out[2]: { 'input_ids': tensor([[64790, 64792, 36474, 54591]]), 'attention_mask': tensor([[1, 1, 1, 1]]), 'position_ids': tensor([[0, 1, 2, 3]]) } ''' inputs = tokenizer([prompt], return_tensors="pt") inputs = inputs.to(self.device) return inputs
.stream_chat
调用分析：
In [133]: q = '你好' In [134]: it = model.stream_chat(tokenizer, q) In [135]: for r, his in it: print(r); print(his) 你 [('你好', '你')] 你好 [('你好', '你好')] 你好👋 [('你好', '你好👋')] ... 你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题')] 你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。')] 你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。')] In [136]: q = '你可以做什么？' In [137]: it = model.stream_chat(tokenizer, q, his) In [138]: for r, his in it: print(r); print(his) 我 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我')] 我是一款 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一款')] 我是一款大型 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一款大型')] ... 我是一款大型语言模型，可以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一款大型语言模型，可 以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通')] 我是一款大型语言模型，可以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通。 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一款大型语言模型，可 以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通。')] 我是一款大型语言模型，可以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通。 [('你好', '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。'), ('你可以做什么？', '我是一款大型语言模型，可 以进行自然语言处理和生成，以及提供各种服务和咨询。我的目标是帮助人们更方便、高效地获取信息、解决问题和交流沟通。')]
源码：
@torch.inference_mode() def stream_chat(self, tokenizer, query: str, history: List[Tuple[str, str]] = None, past_key_values=None, max_length: int = 8192, do_sample=True, top_p=0.8, temperature=0.8, logits_processor=None, return_past_key_values=False, **kwargs): # 为历史和 logit 处理器设置默认值 if history is None: history = [] if logits_processor is None: logits_processor = LogitsProcessorList() logits_processor.append(InvalidScoreLogitsProcessor()) gen_kwargs = {"max_length": max_length, "do_sample": do_sample, "top_p": top_p, "temperature": temperature, "logits_processor": logits_processor, **kwargs} if past_key_values is None and not return_past_key_values: # 如果 PKV 为空，就需要使用完整的历史对话记录构建模型输入 inputs = self.build_inputs(tokenizer, query, history=history) else: # 如果 PKV 不为空，它是历史对话记录的 KV 缓存， # 只需要使用当前问题构建模型输入 inputs = self.build_stream_inputs(tokenizer, query, history=history) if past_key_values is not None: # 得到之前输入的长度 past_length = past_key_values[0][0].shape[0] # 如果有PSL， 从中减去 if self.transformer.pre_seq_len is not None: past_length -= self.transformer.pre_seq_len # 位置 ID 都后移指定长度 inputs.position_ids += past_length # attention_mask 前面添加 PL 个 1 attention_mask = inputs.attention_mask attention_mask = torch.cat((attention_mask.new_ones(1, past_length), attention_mask), dim=1) inputs['attention_mask'] = attention_mask for outputs in self.stream_generate(**inputs, past_key_values=past_key_values, return_past_key_values=return_past_key_values, **gen_kwargs): if return_past_key_values: outputs, past_key_values = outputs # 取第一个回答，并截断回答中的提问部分 outputs = outputs.tolist()[0][len(inputs["input_ids"][0]):] ''' q: '你好' iter1 response: '你' iter2 response: '你好' ... iterN response: '你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。' ''' response = tokenizer.decode(outputs) # 如果回答最后一个字不是终止符 if response and response[-1] != "�": # 处理时间 response = self.process_response(response) # 将问题和当前回答加入历史 new_history = history + [(query, response)] if return_past_key_values: yield response, new_history, past_key_values else: yield response, new_history def build_stream_inputs(self, tokenizer, query: str, history: List[Tuple[str, str]] = None): # PKV 不为空的时候调用这个函数，使用当前问题构建输入 if history: # 历史不为空，只使用最后一轮的提问构建输入 # 为了和之前的问答历史衔接，需要添加换行符 # query = '你好', prompt = "\n\n[Round x]\n\n问：你好\n\n答：" prompt = "\n\n[Round {}]\n\n问：{}\n\n答：".format(len(history) + 1, query) ''' 将 prompt 转成单词 ID，去掉开头的 ID64790、ID64792 In [147]: tokenizer.encode('\n\n你好', add_special_tokens=False) Out[147]: [30910, 13, 13, 39701] In [149]: tokenizer.encode('\n\n你好') Out[149]: [64790, 64792, 30910, 13, 13, 39701] ''' input_ids = tokenizer.encode(prompt, add_special_tokens=False) # 去掉开头的 ID30910 input_ids = input_ids[1:] ''' 为 input_ids 生成相应的 attention_mask 和 position_ids In [151]: tokenizer.batch_encode_plus( [([13,13,39701], None)], return_tensors="pt", add_special_tokens=False ) Out[151]: { 'input_ids': tensor([[ 13, 13, 39701]]), 'attention_mask': tensor([[1, 1, 1]]), 'position_ids': tensor([[0, 1, 2]]) } ''' inputs = tokenizer.batch_encode_plus([(input_ids, None)], return_tensors="pt", add_special_tokens=False) else: # 历史为空，仅仅使用第一轮的提问构建输入 prompt = "[Round {}]\n\n问：{}\n\n答：".format(len(history) + 1, query) inputs = tokenizer([prompt], return_tensors="pt") inputs = inputs.to(self.device) return inputs
