ModelScope客户反馈小于100m的文件是可以的,怎么上传300mb的文件呢?
要上传300MB的文件,您可以按照以下步骤操作。以下是基于阿里云相关服务的具体指导:
根据知识库中的说明,阿里云多个服务支持单个文件最大为300MB的上传限制。因此,您需要确保文件大小不超过300MB。如果文件小于100MB,通常可以直接上传;但如果文件接近或等于300MB,则需要特别注意上传方式和接口的选择。
如果您使用的是大模型服务平台百炼,可以通过以下方法上传300MB的文件:
使用dashscope
命令行工具上传文件,具体命令如下:
dashscope files.upload -f '<替换为训练数据集的本地文件路径>' -p fine_tune -d 'training dataset'
-f
参数指定文件的本地路径。-p
参数指定文件用途(如fine_tune
表示用于微调任务)。-d
参数为文件描述信息。返回结果示例:
Upload success, file id: 976bd01a-f30b-4414-86fd-50c54486e3ef
如果您更倾向于使用API,可以使用curl
命令上传文件:
curl -location -request POST \
'https://dashscope.aliyuncs.com/api/v1/files' \
-header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
-form 'files=@"./qwen-fine-tune-sample.jsonl"' \
-form 'descriptions="a sample fine-tune data file for qwen"'
${DASHSCOPE_API_KEY}
为您的实际API Key。files
字段指定文件路径。descriptions
字段为文件描述信息。返回结果示例:
{
"request_id":"xx",
"data":{
"uploaded_files":[{
"file_id":"976bd01a-f30b-4414-86fd-50c54486e3ef",
"name":"qwen-fine-tune-sample.jsonl"}],
"failed_uploads":[]}
}
如果文件较大且需要通过临时存储空间上传,可以按照以下步骤操作:
调用文件上传凭证获取接口,获取上传所需的凭证信息:
curl -location 'https://dashscope.aliyuncs.com/api/v1/uploads?action=getPolicy&model=qwen-vl-plus' \
-header "Authorization: Bearer $DASHSCOPE_API_KEY" \
-header 'Content-Type: application/json'
响应示例:
{
"request_id": "xxx",
"data": {
"policy": "eyJl...1ZSJ9XX0=",
"signature": "g5K...d40=",
"upload_dir": "dashscope-instant/xxx/2024-07-18/xxxx",
"upload_host": "https://dashscope-file-xxx.oss-cn-beijing.aliyuncs.com",
"expire_in_seconds": 300,
"max_file_size_mb": 100,
"capacity_limit_mb": 999999999,
"oss_access_key_id": "LTAxxx",
"x_oss_object_acl": "private",
"x_oss_forbid_overwrite": "true"
}
}
使用上一步获取的凭证信息,将文件上传至临时存储空间:
POST {data.upload_host}
{data.upload_host}
替换为上一步返回的upload_host
值。policy
、signature
等参数完成文件上传。DASHSCOPE_API_KEY
环境变量或直接替换为实际值。通过以上方法,您可以成功上传300MB的文件至阿里云相关服务。如果有其他问题,请随时联系技术支持团队。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352