"
用的是chatglm3官方要求的格式去微调,日志中说json不能解析,ModelScope数据集要求什么格式?"
"您看下数据集是否符合这几种格式,
https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md ,和格式3接近,文件名也改成.jsonl。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"
ModelScope数据集支持多种格式,包括但不限于CSV、JSON和TXT文件格式。ModelScope作为一个开放的模型和数据集共享平台,并没有定义一个特定的集规范,而是支持多种不同的数据格式和机器学习框架。这意味着用户可以根据自己的需求选择合适的格式来准备和上传数据集。具体来说:
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352