开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

想问一下modelscope微调的数据格式,value键后面的值可以是json格式吗?

想问一下modelscope微调的数据格式,value键后面的值可以是json格式吗?微调的模型是qwen-14b

展开
收起
闲o月 2023-12-18 14:35:04 81 0
2 条回答
写回答
取消 提交回答
  • "支持的格式中貌似没有符合您描述的哦,您看一下支持的格式 https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md#%E8%87%AA%E5%AE%9A%E4%B9%89%E6%95%B0%E6%8D%AE%E9%9B%86
     此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2023-12-18 22:08:35
    赞同 展开评论 打赏
  • 在ModelScope中进行模型微调时,数据格式的具体要求通常取决于所使用的模型和框架。对于Qwen-14B这样的大模型,其微调过程可能会涉及到文本数据的处理。

    通常情况下,微调数据的输入值(即您提到的"value"键后面的值)不直接是JSON格式。更常见的情况是,这些值是文本字符串或者已经预处理过的、可以被模型直接接受的数值表示。

    例如,如果您正在对一个自然语言处理任务进行微调,那么"value"键后面的值通常是文本字符串。这些字符串可能需要进一步预处理,如分词、标记化等,以便模型能够理解和处理。

    如果您确实需要提供JSON格式的数据作为输入,那么可能需要将JSON对象转换为模型可以理解的格式。这可能涉及到解析JSON对象并提取出所需的文本或数值信息,然后将这些信息组织成模型可以接受的输入格式。

    在开始微调之前,建议您查阅ModelScope上Qwen-14B模型的文档和示例,以了解其具体的数据格式要求和预处理步骤。如果有任何疑问或需要更详细的指导,可以直接联系ModelScope的官方支持获取帮助。

    2023-12-18 16:51:06
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载