ModelScope中，instruct数据不好构造，是不是可以继续预训练？大概需要多少数据量？
ModelScope中，使用LLaMa Factory微调Qwen2-7b的话instruct数据不好构造，是不是可以继续预训练？大概需要多少数据量？
展开
收起
1
条回答
写回答
-
"继续预训练需要的卡比较多，前面开发者使用的微调数据大概都在1000+以上，swift支持的数据集在这个文档中有，llama factory不太了解哈。参考以下链接 https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E6%94%AF%E6%8C%81%E7%9A%84%E6%A8%A1%E5%9E%8B%E5%92%8C%E6%95%B0%E6%8D%AE%E9%9B%86.md
技术选型这个文档可以参考下哈，参考以下链接 https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/E.%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B.md 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"2024-06-19 12:36:43赞同 2 展开评论
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
展开全部
展开全部
还有其他疑问?
咨询AI助理