问题出在`megatron_util.mpu`模块中没有找到`get_model_parallel_rank`属性

根据您提供的错误信息，问题出在megatron_util.mpu模块中没有找到get_model_parallel_rank属性。这可能是因为megatron_util库的版本不兼容导致的。

您可以尝试以下方法解决这个问题：

1. 卸载当前的megatron_util库：

pip uninstall megatron_util -y

1. 确保您的环境变量PYTHONPATH包含了正确的megatron_util库路径。您可以通过以下命令查看PYTHONPATH：

echo $PYTHONPATH

如果PYTHONPATH没有包含正确的路径，您可以通过以下命令将其添加到PYTHONPATH：

export PYTHONPATH=$PYTHONPATH:/path/to/megatron_util

注意将/path/to/megatron_util替换为实际的megatron_util库路径。

1. 重新安装megatron_util库：

pip install megatron_util -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

完成以上步骤后，重新运行您的代码，问题应该得到解决。