ModelScope客户反馈小于100m的文件是可以的,怎么上传300mb的文件呢?

ModelScope客户反馈小于100m的文件是可以的,怎么上传300mb的文件呢?

展开
收起
小小爱吃香菜 2024-01-31 17:13:09 71 分享 版权
阿里云 AI 助理回答

要上传300MB的文件,您可以按照以下步骤操作。以下是基于阿里云相关服务的具体指导:


1. 确认文件大小限制

根据知识库中的说明,阿里云多个服务支持单个文件最大为300MB的上传限制。因此,您需要确保文件大小不超过300MB。如果文件小于100MB,通常可以直接上传;但如果文件接近或等于300MB,则需要特别注意上传方式和接口的选择。


2. 使用百炼平台上传大文件

如果您使用的是大模型服务平台百炼,可以通过以下方法上传300MB的文件:

方法一:通过命令行工具上传

使用dashscope命令行工具上传文件,具体命令如下:

dashscope files.upload -f '<替换为训练数据集的本地文件路径>' -p fine_tune -d 'training dataset'
  • -f 参数指定文件的本地路径。
  • -p 参数指定文件用途(如fine_tune表示用于微调任务)。
  • -d 参数为文件描述信息。

返回结果示例

Upload success, file id: 976bd01a-f30b-4414-86fd-50c54486e3ef

方法二:通过HTTP API上传

如果您更倾向于使用API,可以使用curl命令上传文件:

curl -location -request POST \
'https://dashscope.aliyuncs.com/api/v1/files' \
-header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
-form 'files=@"./qwen-fine-tune-sample.jsonl"' \
-form 'descriptions="a sample fine-tune data file for qwen"'
  • 替换${DASHSCOPE_API_KEY}为您的实际API Key。
  • files字段指定文件路径。
  • descriptions字段为文件描述信息。

返回结果示例

{
 "request_id":"xx",
 "data":{
 "uploaded_files":[{
 "file_id":"976bd01a-f30b-4414-86fd-50c54486e3ef",
 "name":"qwen-fine-tune-sample.jsonl"}],
 "failed_uploads":[]}
}

3. 使用临时存储空间上传大文件

如果文件较大且需要通过临时存储空间上传,可以按照以下步骤操作:

步骤1:获取文件上传凭证

调用文件上传凭证获取接口,获取上传所需的凭证信息:

curl -location 'https://dashscope.aliyuncs.com/api/v1/uploads?action=getPolicy&model=qwen-vl-plus' \
-header "Authorization: Bearer $DASHSCOPE_API_KEY" \
-header 'Content-Type: application/json'

响应示例

{
 "request_id": "xxx",
 "data": {
 "policy": "eyJl...1ZSJ9XX0=",
 "signature": "g5K...d40=",
 "upload_dir": "dashscope-instant/xxx/2024-07-18/xxxx",
 "upload_host": "https://dashscope-file-xxx.oss-cn-beijing.aliyuncs.com",
 "expire_in_seconds": 300,
 "max_file_size_mb": 100,
 "capacity_limit_mb": 999999999,
 "oss_access_key_id": "LTAxxx",
 "x_oss_object_acl": "private",
 "x_oss_forbid_overwrite": "true"
 }
}

步骤2:上传文件至临时存储空间

使用上一步获取的凭证信息,将文件上传至临时存储空间:

POST {data.upload_host}
  • {data.upload_host}替换为上一步返回的upload_host值。
  • 使用凭证中的policysignature等参数完成文件上传。

4. 注意事项

  • 文件大小限制:确保文件大小不超过300MB,否则上传会失败。
  • API Key配置:在使用命令行或API时,请确保正确配置了DASHSCOPE_API_KEY环境变量或直接替换为实际值。
  • 有效期管理:如果使用临时存储空间上传文件,请注意上传凭证的有效期(通常为300秒),超出有效期后需重新获取凭证。

通过以上方法,您可以成功上传300MB的文件至阿里云相关服务。如果有其他问题,请随时联系技术支持团队。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理