小詹小詹_个人页

2024年07月

• 07.20 12:48:48
  发表了文章 2024-07-20 12:48:48

  千问大模型对话

  该段Python代码演示了如何使用`modelscope`库加载预训练的因果语言模型`Qwen2-1___5B-Instruct`到CUDA设备，并进行文本生成。首先，它定义了设备为`cuda`，然后加载模型和分词器。接着，设置了一个聊天情境并准备输入文本。通过调用`tokenizer.apply_chat_template`处理输入，然后将处理后的文本转化为模型输入张量并传入设备。使用`model.generate`方法生成新的文本，截取生成的输出并解码为人类可读的字符串。最后，打印出生成的响应。
• 07.20 12:47:12
  发表了文章 2024-07-20 12:47:12

  千问文本分类任务微调

  这段代码定义了一个`predict`函数，它使用Hugging Face的`AutoModelForCausalLM`和`AutoTokenizer`来生成对话回复。模型和tokenizer分别从指定路径加载，然后对输入的`messages`（包含指令和用户输入）进行处理，通过模型生成响应。代码最后展示了一个测试用例，其中讨论了历史人物的评价。模型的输出被打印出来。整个流程涉及预处理、模型推理和后处理，用于生成与历史相关的内容。