开发者社区 > ModelScope模型即服务 > 正文

日志中说json不能解析,ModelScope数据集要求什么格式?

"e049eae7809d2a996257a85e1079c9b1.jpg
f1c7841b7bf2c5a457bf216c69b36d10.jpg
用的是chatglm3官方要求的格式去微调,日志中说json不能解析,ModelScope数据集要求什么格式?"

展开
收起
小小爱吃香菜 2024-03-26 22:50:21 43 0
2 条回答
写回答
取消 提交回答
  • "您看下数据集是否符合这几种格式,
    https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md ,和格式3接近,文件名也改成.jsonl。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-03-27 12:30:13
    赞同 展开评论 打赏
  • 阿里云大降价~

    ModelScope数据集支持多种格式,包括但不限于CSV、JSON和TXT文件格式。ModelScope作为一个开放的模型和数据集共享平台,并没有定义一个特定的集规范,而是支持多种不同的数据格式和机器学习框架。这意味着用户可以根据自己的需求选择合适的格式来准备和上传数据集。具体来说:

    • CSV格式:这是一种通用的表格数据格式,适合存储结构化数据。它以纯文本形式存储表格数据,每行代表一个数据记录,列之间通常用逗号分隔。
    • JSON格式:这是一种轻果您在微调chatglm3官方模型时遇到了日志中提到的JSON解析问题,建议检查您的JSON文件是否符合标准格式,例如是否有正确的嵌套结构、键值对是否正确等。同时,确保文件没有损坏或编码问题,这些都可能导致解析错误。如果问题依旧存在,建议查阅相关文档或联系技术支持以获取更具体的帮助。
    2024-03-27 08:46:49
    赞同 1 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载

相关镜像