finetune现在有哪里可以尝试吗?非modelscope-funasr

finetune现在有哪里可以尝试吗?
非modelscope-funasr

展开
收起
嘟嘟嘟嘟嘟嘟 2023-12-27 10:55:22 93 分享 版权
阿里云 AI 助理回答

目前,您可以通过阿里云的大模型服务平台百炼来尝试非ModelScope-FunASR相关的模型微调(finetune)功能。以下是具体的操作方式和相关信息:


1. 人物形象训练(FaceChain Finetune)

如果您希望对包含人脸的图像进行模型微调以生成人物写真,可以使用FaceChain人物形象训练服务。以下是操作步骤:

准备工作

  • 确保已开通服务并获得API-KEY。
  • 准备1~10张包含人脸的图片,推荐将图片存储在阿里云OSS中,并生成授权的访问链接。

创建模型定制任务

通过HTTP接口提交模型定制任务: - 请求方法: POST - 请求URL: /api/v1/fine-tunes - 请求头: - Content-Type: application/json - Authorization: Bearer <YOUR-DASHSCOPE-API-KEY> - 请求体:

{
  "model": "facechain-finetune",
  "training_file_ids": ["file_id_or_url_1", "file_id_or_url_2"]
}

查询任务状态

任务提交后,可通过以下接口查询任务状态: - 请求方法: GET - 请求URL: /api/v1/fine-tunes/<job_id> - 请求头: - Content-Type: application/json - Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>

计费与限制

  • 计费单价: 2.5元/次(人物形象训练)。
  • 接口限制:
    • 单账户任务下发接口QPS限制为2。
    • 同时处理中的任务数量限制为1。

2. BERT Finetune加速

如果您需要对BERT模型进行微调,可以利用AIACC-Training服务来加速训练过程。以下是操作步骤:

准备工作

  • 创建阿里云账号并完成实名认证。
  • 确保环境中已安装必要的软件和库(如Python、TensorFlow等)。

使用AIACC-Training加速

  • 访问阿里云控制台,选择AIACC-Training服务。
  • 按照向导创建新的训练任务,选择合适的GPU实例。
  • 上传数据集和预训练模型。
  • 配置训练参数(如学习率、批次大小等)。
  • 开始训练任务,并监控训练进度和性能指标。

优化建议

  • 根据实际需求调整超参数以提升训练效果。
  • 利用日志和监控功能及时发现和解决问题。
  • 考虑使用分布式训练进一步提高速度。

3. 通用模型微调(百炼平台)

除了特定领域的微调服务外,您还可以通过大模型服务平台百炼进行通用模型的微调。以下是操作流程:

上传训练文件

  • 使用HTTP接口上传训练文件:
    curl -location -request POST \
    'https://dashscope.aliyuncs.com/api/v1/files' \
    -header 'Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>' \
    -form 'files=@"./your_training_data.jsonl"' \
    -form 'descriptions="a sample fine-tune data file"'
    
  • 返回结果:
    {
    "request_id": "xx",
    "data": {
      "uploaded_files": [{"file_id": "file_id_1", "name": "your_training_data.jsonl"}],
      "failed_uploads": []
    }
    }
    

创建微调任务

  • 使用命令行工具或API创建微调任务:
    dashscope fine_tunes.call -m qwen-turbo -t '<file_id_1>' '<file_id_2>' \
    -mode sft -b 16 -e 1 -l 1.6e-5 \
    -hyper_parameters split=0.9 warmup_ratio=0.0 eval_steps=1
    

监控任务状态

  • 微调指令进程将持续输出日志,即使进程终止也不会影响任务执行。
  • 可通过后续命令或控制台查看任务状态和日志。

重要提醒

  • 申请体验:部分服务(如FaceChain)需先申请体验并通过审核,否则API调用会返回错误状态码。
  • 免费额度:FaceChain人物写真生成功能提供500张图像生成的免费额度,有效期180天。
  • 并发限制:单用户同时运行或保留的训练任务数量有限制,超出限制需联系阿里云申请提额。

通过上述方式,您可以根据具体需求选择适合的微调服务。如有进一步问题,请随时联系阿里云技术支持团队。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理