PromptScope: 一个灵活高效的In-Context Training框架

01项目简介

PromptScope 是一个同时支持中英文的 In-Context Training 框架，专为大型语言模型（LLM）性能调优设计。In-Context Training 通过调整模型输入（Instruction/样例），优化模型在特定任务中的表现。相比于 In-Weight Training（如 SFT、DPO、RLHF），PromptScope 具有低成本和更高的灵活性。

- 适用场景包括

• 缺乏可用于训练的 GPU 资源
  
• 需要对闭源模型进行性能优化
  

- PromptScope 的主要特点

• 全面的优化方法：支持基于样例的优化和基于指令的优化
  
• 卓越的优化效果：基于TipsOptimizer的方法在中英文开源数据集上效果优于主流优化算法
  
• 高度的灵活性：支持中英文并且提供主流优化算法实现
  

- 关于TipsOptimizer

• TipsOptimizer是通过从训练集中根据正负样例，总结出一些Tips，添加到原始system prompt中，来帮助模型提升在指定任务上的表现，只需要提供“训练数据”和“评分函数”，就可以进行优化。以下是一个例子，对比展示优化前后的system prompt：
  

欢迎关注PromptScope，在Github上（https://github.com/modelscope/promptscope） 为我们star 🌟。

02项目结构

03效果对比

● 优化器：qwen-max

● 推理模型：qwen-plus

04运行方式

• 步骤一：开通DashScope平台模型调用权限
  
• 具体开通和获取DashScope API-KEY的方式可参考：https://help.aliyun.com/zh/model-studio/developer-reference/get-api-key?spm=a2c4g.11186623.0.0.97dc6d52Otm9R1
  

• 步骤二：下载PromptScope仓库
  

git clone https://github.com/modelscope/PromptScope

• 步骤三：配置DashScope API-KEY
  

export DASHSCOPE_API_KEY="sk-xxxxx"

• 步骤四：加载训练和测试数据
  

with open("../../data/college_medical_statistics/sample_train_data.jsonl", "r") as f:    train_set = []    for line in f:        train_set.append(json.loads(line))
with open("../../data/college_medical_statistics/sample_test_data.jsonl", "r") as f:    test_set = []    for line in f:        test_set.append(json.loads(line))
with open("../../data/college_medical_statistics/init_system_prompt.txt", "r") as f:
    init_system_prompt = f.read().strip()

• 以下是训练/测试数据格式的组织形式：
  

[  {    "input": "输入（必填）",    "output": "回复（必填）"  }]

• 步骤五：构建评分函数
  

def is_good_case(prediction, ground_truth):
    # extract final answer
    prediction = prediction.split("<answer>")[-1].split("</answer>")[0].strip()
    ground_truth = ground_truth
    if ground_truth in prediction:
        return True, 1 # good case, 得分为1
    else:
        return False, 0 # bad case, 得分为1

• 步骤六：开始运行
  

def is_good_case(prediction, ground_truth):
    # extract final answer
    prediction = prediction.split("<answer>")[-1].split("</answer>")[0].strip()
    ground_truth = ground_truth
    if ground_truth in prediction:
        return True, 1 # good case, 得分为1
    else:
        return False, 0 # bad case, 得分为1

05后续计划

• 更多模型支持（基于api/本地部署）
  
• 支持多模态In-Context Training方式
  
• 更多Optimizer方式，也欢迎大家共建