开发者社区 > ModelScope模型即服务 > 正文

日志中说json不能解析,ModelScope数据集要求什么格式?

"e049eae7809d2a996257a85e1079c9b1.jpg
f1c7841b7bf2c5a457bf216c69b36d10.jpg
用的是chatglm3官方要求的格式去微调,日志中说json不能解析,ModelScope数据集要求什么格式?"

展开
收起
Lucidly 2024-03-26 22:50:21 22 0
2 条回答
写回答
取消 提交回答
  • "您看下数据集是否符合这几种格式,
    https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md ,和格式3接近,文件名也改成.jsonl。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-03-27 12:30:13
    赞同 展开评论 打赏
  • 阿里云大降价~

    ModelScope数据集支持多种格式,包括但不限于CSV、JSON和TXT文件格式。ModelScope作为一个开放的模型和数据集共享平台,并没有定义一个特定的集规范,而是支持多种不同的数据格式和机器学习框架。这意味着用户可以根据自己的需求选择合适的格式来准备和上传数据集。具体来说:

    • CSV格式:这是一种通用的表格数据格式,适合存储结构化数据。它以纯文本形式存储表格数据,每行代表一个数据记录,列之间通常用逗号分隔。
    • JSON格式:这是一种轻果您在微调chatglm3官方模型时遇到了日志中提到的JSON解析问题,建议检查您的JSON文件是否符合标准格式,例如是否有正确的嵌套结构、键值对是否正确等。同时,确保文件没有损坏或编码问题,这些都可能导致解析错误。如果问题依旧存在,建议查阅相关文档或联系技术支持以获取更具体的帮助。
    2024-03-27 08:46:49
    赞同 1 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
2019大数据技术公开课第五季—日志数据如何同步到MaxCompute之实践讲解 立即下载
Python 系列直播——深入Python与日志服务,玩转大规模数据分析处理实战第二讲 立即下载
Python第四讲——使用IPython/Jupyter Notebook与日志服务玩转超大规模数据分析与可视化 立即下载

相关镜像