各位大佬辛苦帮忙看下ModelScope这个问题。我在damo/nlp_g

各位大佬辛苦帮忙看下ModelScope这个问题。我在damo/nlp_gpt3_text-generation_1.3B这个模型的基础上进行二次开发训练,但是使用训练后的模型进行预测结果跟没有训练的模型是一模一样的,这个是什么原因呢。loss是在收敛的。是训练数据太少吗。还是预测时候引入的模型不对。 参照的是这个文档:https://www.modelscope.cn/models/damo/nlp_gpt3_text-generation_1.3B/summary

展开
收起
真的很搞笑 2023-04-22 11:30:14 111 分享 版权
1 条回答
写回答
取消 提交回答
  • 您好,我看您的 train.py 文件中没有加入 MegatronHook,需要有这个 hook 才能正常保存 checkpoint~可以参考 https://modelscope.cn/models/damo/nlp_gpt3_text-generation_1.3B/summary model card 中的训练代码示例 8014db2d86418a4ae8b01fca2b30422f.png ,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-04-27 08:25:39
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理