PromptScope: 一个灵活高效的In-Context Training框架

简介: PromptScope 是一个同时支持中英文的 In-Context Training 框架,专为大型语言模型(LLM)性能调优设计。

01.项目简介

PromptScope 是一个同时支持中英文的 In-Context Training 框架,专为大型语言模型(LLM)性能调优设计。In-Context Training 通过调整模型输入(Instruction/样例),优化模型在特定任务中的表现。相比于 In-Weight Training(如 SFT、DPO、RLHF),PromptScope 具有低成本和更高的灵活性。

- 适用场景包括

  • 缺乏可用于训练的 GPU 资源
  • 需要对闭源模型进行性能优化

- PromptScope 的主要特点

  • 全面的优化方法:支持基于样例的优化和基于指令的优化
  • 卓越的优化效果:基于TipsOptimizer的方法在中英文开源数据集上效果优于主流优化算法
  • 高度的灵活性:支持中英文并且提供主流优化算法实现

- 关于TipsOptimizer

  • TipsOptimizer是通过从训练集中根据正负样例,总结出一些Tips,添加到原始system prompt中,来帮助模型提升在指定任务上的表现,只需要提供“训练数据”和“评分函数”,就可以进行优化。以下是一个例子,对比展示优化前后的system prompt:

优化前

请判断下面的新闻属于以下哪个类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐

优化后

请判断下面的新闻属于以下哪个类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐- 当新闻内容主要涉及特定领域的科技进步或科学研究时,建议将其分类为“科技”,不建议简单地因为提及国家机构或政策就归类为“时政”。- 在判断新闻类别时,应重点关注文章的主要信息和核心主题,而不是被次要信息所干扰。- 对于跨领域的内容,需要仔细区分主次,确保将新闻准确归入最能反映其主要内容的类别。- 当新闻内容涉及金融产品(如基金)的整体市场表现及行业内部结构变化时,建议归类为“财经”,不建议仅因提及股市就将其分类为“股票”。...(红色部分为新增Tips)

欢迎关注PromptScope,在Github上(https://github.com/modelscope/promptscope) 为我们star 🌟。

02.项目结构

03.效果对比

● 优化器:qwen-max

● 推理模型:qwen-plus

英文

中文

GSM8K

BBH(word_sorting)

BBH(object_counting)

THUNews

CMMLU(nutrition)

CMMLU(college_medical_statistics)

Raw

96.1%

57.0%

97.0%

85.0%

93.2%

73.6%

OPRO

96.3%

56.0%

97.0%

84.0%

90.4%

75.5%

PromptAgent

95.7%

60.0%

97.0%

80.8%

95.9%

71.7%

TipsOptimizer

96.1%

64.0%

98.0%

90.0%

95.9%

83.0%

04.运行方式

git clone https://github.com/modelscope/PromptScope
  • 步骤三:配置DashScope API-KEY
export DASHSCOPE_API_KEY="sk-xxxxx"
  • 步骤四:加载训练和测试数据
with open("../../data/college_medical_statistics/sample_train_data.jsonl", "r") as f:
    train_set = []
    for line in f:
        train_set.append(json.loads(line))
with open("../../data/college_medical_statistics/sample_test_data.jsonl", "r") as f:
    test_set = []
    for line in f:
        test_set.append(json.loads(line))
with open("../../data/college_medical_statistics/init_system_prompt.txt", "r") as f:
    init_system_prompt = f.read().strip()
  • 以下是训练/测试数据格式的组织形式:
[
  {
    "input": "输入(必填)",
    "output": "回复(必填)"
  }
]
  • 步骤五:构建评分函数
def is_good_case(prediction, ground_truth):
    # extract final answer
    prediction = prediction.split("<answer>")[-1].split("</answer>")[0].strip()
    ground_truth = ground_truth
    if ground_truth in prediction:
        return True, 1 # good case, 得分为1
    else:
        return False, 0 # bad case, 得分为1
  • 步骤六:开始运行
from prompt_scope.core.llms.dashscope_llm import DashscopeLLM
from prompt_scope.core.offline.tips_generation.static_tips_generation import StaticTipsGeneration
# 加载推理模型
infer_llm = DashscopeLLM(model="qwen-plus", temperature=0.0)
# 加载优化模型
optim_llm = DashscopeLLM(model="qwen-max", temperature=0.0)
# 运行代码
stg = StaticTipsGeneration(
    init_system_prompt=init_system_prompt,
    infer_llm=infer_llm,
    train_set=train_set,
    test_set=test_set,
    is_good_case_func=is_good_case,
    details_save_dir=f"{current_file_dir}/details_result",
    language="cn"
)
tips = stg.run()

05.后续计划

  • 更多模型支持(基于api/本地部署)
  • 支持多模态In-Context Training方式
  • 更多Optimizer方式,也欢迎大家共建

欢迎关注PromptScope,在Github上(https://github.com/modelscope/promptscope) 为我们star 🌟。

点击链接阅读原文,即可跳转模型代码

https://github.com/modelscope/promptscope

目录
相关文章
|
3月前
|
人工智能 编解码 数据可视化
阿里云国际站代理商:GPU 选型避坑指南 2026 大模型训练与推理算力配置
本文聚焦2026年AI多模态时代GPU选型实战。针对训练、推理、渲染三大场景,详解gn8v(H100/H200)、gn8is(L20)、gn7i(A10)等主流实例的适用性与性价比,并提醒账号风控、配额限制、地域库存等关键避坑点。(239字)
|
人工智能 搜索推荐 机器人
从物流到汽车:阿里云智能联络中心如何在高频外呼场景中跑出结果?
阿里云智能联络中心2.0通过“通信智能引擎+通信智能体”双模式,将语音通信、大模型与业务流程深度融合。已在物流(日均80万通外呼,提升末端履约体验)和汽车(500万通外呼,促5万+试驾、5000+订单)落地,实现高并发稳定触达、拟人化交互与线索高效转化,让智能外呼真正融入生产链路。
503 0
|
10月前
|
API Apache
OPIK:一个开源的自动提示词优化框架
本文介绍如何用OPIK的MetaPromptOptimizer实现自动提示词优化,通过几轮迭代将大模型在复杂推理任务上的准确率从34%提升至97%。详解环境搭建、代码实现及优缺点,展示如何让LLM自我改进提示词,大幅提升效率与性能,推动提示工程迈向自动化。
1140 2
GEO
|
5月前
|
人工智能 搜索推荐 JavaScript
2026年AI搜索流量重构:GEO/AIVO/AIWO如何重塑数字营销格局
2026年,AI搜索成中国信息获取主入口:AI用户6.02亿,AI推荐信任度全球第一(68%)。GEO、AIVO、AIWO构成三位一体优化新范式——从内容可检索(GEO),到被AI信任推荐(AIVO),再到网站深度可信转化(AIWO)。传统SEO正加速失效,认知资产竞争已打响。
GEO
793 0
|
12月前
|
前端开发 IDE 数据库连接
最新PyCharm 安装详细图文教程:小白也能轻松搞定
PyCharm 来自 JetBrains,是一款专为 Python 打造的专业集成开发环境(IDE)。我们用这个工具可以高效地编写、调试并运行 Python 代码,同时还能使用虚拟环境管理、数据库连接以及前端相关功能。无论是在入门阶段练习基础语法,还是在工程化场景中搭建完整项目,PyCharm 用起来都很顺手。
2164 16
|
9月前
|
数据采集 数据挖掘 Python
Python3安装步骤详解(附环境变量配置与验证方法)
Python3是专为Windows设计的Python 3官方安装包,支持数据分析、爬虫、自动化等开发。安装时务必勾选“Add Python to PATH”,推荐以管理员身份运行。安装后通过cmd输入`python --version`验证,并可用IDLE或`.py`文件快速上手编程。(239字)
|
存储 人工智能 API
SPO:如何优化提示词?大模型最懂如何优化自己!开源自监督提示词优化工具,让AI自主优化提示词
本文介绍由DeepWisdom与香港科技大学联合研发的SPO框架,通过自我监督机制实现大语言模型提示优化,仅需3个样本即可达到SOTA效果,优化成本降低至传统方法的1.1%-5.6%。
3305 0
SPO:如何优化提示词?大模型最懂如何优化自己!开源自监督提示词优化工具,让AI自主优化提示词
|
并行计算 PyTorch 算法框架/工具
vLLM 架构学习指南
本指南深入解析vLLM高性能推理引擎架构,涵盖核心创新PagedAttention与连续批处理技术,结合代码结构、学习路径与实践建议,系统指导用户从入门到贡献源码的全过程。
6624 5
vLLM 架构学习指南
|
IDE 搜索推荐 程序员
《CodeBuddy:像哆啦A梦一样智能的编程助手》
本文介绍腾讯云代码助手CodeBuddy——智能编程伙伴,宛如哆啦A梦般的存在。它具备智能辅助、个性化学习、多场景适配等优势,支持主流IDE与多种编程语言,保护代码隐私并开源透明。通过上下文理解、实时错误检测等功能提升开发效率;根据编码风格优化建议,构建知识图谱。下载链接提供,安装后即可在IDE中使用,助你成为更高效的开发者。
2004 17
《CodeBuddy:像哆啦A梦一样智能的编程助手》
|
存储 JSON 程序员
Python基础知识点总结
本文包括python基本知识:简单数据结构,数据结构类型(可变:列表,字典,集合,不可变:数值类型,字符串,元组),分支循环和控制流程,类和函数,文件处理和异常等等。
4369 2
Python基础知识点总结

热门文章

最新文章