基于 megatron V3 训练的模型有2.45G,你们能不能,或者教下我把这个模型拆分下?推理用,后期也要二次训练
在 configuration.json 文件中添加正确的 world_size,并指定 checkpoint_model_parallel_size 为 1,pipeline 推理过程就会自动拆分模型,类似这样: { ... "model": { "world_size": 8, "checkpoint_model_parallel_size": 1 }, ... },此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”