使用大模型推理pipeline()方法时，如何传入top_k、top_p等参数控制生成内容
在使用pipeline()方法推理GPT3模型时，希望通过传入top_k、top_p等参数控制生成内容的多样性，但官方并没有相关示例，在源代码也没找到相关内容
展开
收起
1
条回答
写回答
写回答
-
在 1.4.1 版本后 palm，gpt3 等生成模型可以直接在 pipeline 中传入生成参数，例如： pipe = pipeline(Tasks.text_generation, model=model_id) print(pipe('示例输入', top_p=0.95, temperature=0.9, max_length=1024)) 后续我们会完善文本生成相关文档～
2023-03-23 14:43:21赞同 展开评论 打赏
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
386
如何提高qwen-7b-chat-int4的并行处理能力
922
如何下载llama模型到本地？
1973
Distributed package doesn't have NCCL built in
692
本地运行示例报错No module named 'deepspeed'
2603
modelscope-funasr这个是说明已经支持GPU了吗？
27
第二次modelscope-funasr调用的时候，明显变慢了，而且 cpu 消耗变大了，怎么回事？
23
modelscope-funasr这个命令可以直接在win10系统下装docker吗？
23
modelscope-funasr微调得需要多大硬盘？
19
关于通义千问Qwen-7B-Chat模型下载问题
1060
展开全部
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
123
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
107
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
89
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
65
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
63
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
218
使用ModelScope社区搭建OCR应用
1191
表格问答
553
ModelScope X 昇腾910快速上手
173
AI + 分子模拟，赋能药物发现新源头（三）
511
展开全部
