运行模型时报错 'megatron_util.mpu' has no attribute 'get_
运行ZhipuAI/Multilingual-GLM-Summarization-zh的官方代码范例时，报错AttributeError: MGLMTextSummarizationPipeline: module 'megatron_util.mpu' has no attribute 'get_model_parallel_rank'
环境是基于ModelScope官方docker镜像，尝试了各个版本结果都是一样的。也尝试使用pip uninstall megatron_util && pip install megatron_util -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html重新安装各个版本的megatron_util但是还是没有效果。
具体报错内容如下：
root@dc19cfd686f9:/app# python test.py
2023-11-19 03:45:04,162 - modelscope - INFO - PyTorch version 1.11.0+cu113 Found.
2023-11-19 03:45:04,163 - modelscope - INFO - Loading ast index from /mnt/workspace/.cache/modelscope/ast_indexer
2023-11-19 03:45:04,181 - modelscope - INFO - Loading done! Current index file version is 1.6.1, with md5 7ef0ea14f2ab92de0a689c4b4f9dd76d and a total number of 849 components indexed
2023-11-19 03:45:05,183 - modelscope - INFO - Model revision not specified, use the latest revision: v1.0.1
No CUDA runtime is found, using CUDA_HOME='/usr/local/cuda'
[2023-11-19 03:45:06,171] [INFO] [real_accelerator.py:158:get_accelerator] Setting ds_accelerator to cuda (auto detect)
WARNING: No training data specified
using world size: 1 and model-parallel size: 1
> using dynamic loss scaling
megatron initialized twice
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /opt/conda/lib/python3.7/site-packages/modelscope/utils/registry.py:212 in build_from_cfg │
│ │
│ 209 │ │ if hasattr(obj_cls, '_instantiate'): │
│ 210 │ │ │ return obj_cls._instantiate(**args) │
│ 211 │ │ else: │
│ ❱ 212 │ │ │ return obj_cls(**args) │
│ 213 │ except Exception as e: │
│ 214 │ │ # Normal TypeError does not print class name. │
│ 215 │ │ raise type(e)(f'{obj_cls.__name__}: {e}') │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/pipelines/nlp/mglm_text_summarization_pipeline │
│ .py:29 in __init__ │
│ │
│ 26 │ │ │ │ *args, │
│ 27 │ │ │ │ **kwargs): │
│ 28 │ │ model = MGLMForTextSummarization(model) if isinstance(model, │
│ ❱ 29 │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ str) else model │
│ 30 │ │ self.model = model │
│ 31 │ │ self.model.eval() │
│ 32 │ │ if preprocessor is None: │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/models/nlp/mglm/mglm_for_text_summarization.py │
│ :371 in __init__ │
│ │
│ 368 │ │ # setting default batch size to 1 │
│ 369 │ │ self.args.batch_size = 1 │
│ 370 │ │ self.args.tokenizer_path = model_dir │
│ ❱ 371 │ │ self.tokenizer = prepare_tokenizer(self.args) │
│ 372 │ │ self.model = setup_model(self.args) │
│ 373 │ │ self.cfg = Config.from_file( │
│ 374 │ │ │ osp.join(model_dir, ModelFile.CONFIGURATION)) │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/models/nlp/mglm/configure_data.py:147 in │
│ prepare_tokenizer │
│ │
│ 144 │ │ add_task_mask=args.task_mask, │
│ 145 │ │ add_decoder_mask=args.block_mask_prob > 0.0 │
│ 146 │ │ or args.context_mask_ratio > 0.0) │
│ ❱ 147 │ if mpu.get_model_parallel_rank() == 0: │
│ 148 │ │ num_tokens = tokenizer.num_tokens │
│ 149 │ │ eod_token = tokenizer.get_command('eos').Id │
│ 150 │ │ assert eod_token == tokenizer.get_command('pad').Id │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
AttributeError: module 'megatron_util.mpu' has no attribute 'get_model_parallel_rank'
During handling of the above exception, another exception occurred:
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /app/test.py:11 in <module> │
│ │
│ 8 pipe = pipeline( │
│ 9 │ task=Tasks.text_summarization, │
│ 10 │ model=model, │
│ ❱ 11 │ preprocessor=preprocessor, │
│ 12 ) │
│ 13 result = pipe( │
│ 14 │ '据中国载人航天工程办公室消息，北京时间2022年10月25日，梦天实验舱与长征五号B遥四运载 │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/pipelines/builder.py:140 in pipeline │
│ │
│ 137 │ if preprocessor is not None: │
│ 138 │ │ cfg.preprocessor = preprocessor │
│ 139 │ │
│ ❱ 140 │ return build_pipeline(cfg, task_name=task) │
│ 141 │
│ 142 │
│ 143 def add_default_pipeline_info(task: str, │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/pipelines/builder.py:57 in build_pipeline │
│ │
│ 54 │ │ default_args (dict, optional): Default initialization arguments. │
│ 55 │ """ │
│ 56 │ return build_from_cfg( │
│ ❱ 57 │ │ cfg, PIPELINES, group_key=task_name, default_args=default_args) │
│ 58 │
│ 59 │
│ 60 def pipeline(task: str = None, │
│ │
│ /opt/conda/lib/python3.7/site-packages/modelscope/utils/registry.py:215 in build_from_cfg │
│ │
│ 212 │ │ │ return obj_cls(**args) │
│ 213 │ except Exception as e: │
│ 214 │ │ # Normal TypeError does not print class name. │
│ ❱ 215 │ │ raise type(e)(f'{obj_cls.__name__}: {e}') │
│ 216 │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
AttributeError: MGLMTextSummarizationPipeline: module 'megatron_util.mpu' has no attribute 'get_model_parallel_rank'
展开
收起
2
条回答
写回答
写回答
-
根据您提供的错误信息，问题出在
megatron_util.mpu模块中没有找到get_model_parallel_rank属性。这可能是因为megatron_util库的版本不兼容导致的。您可以尝试以下方法解决这个问题：
- 卸载当前的
megatron_util库：
pip uninstall megatron_util -y- 确保您的环境变量
PYTHONPATH包含了正确的megatron_util库路径。您可以通过以下命令查看PYTHONPATH：
echo $PYTHONPATH如果
PYTHONPATH没有包含正确的路径，您可以通过以下命令将其添加到PYTHONPATH：export PYTHONPATH=$PYTHONPATH:/path/to/megatron_util注意将
/path/to/megatron_util替换为实际的megatron_util库路径。- 重新安装
megatron_util库：
pip install megatron_util -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html完成以上步骤后，重新运行您的代码，问题应该得到解决。
2023-11-29 16:39:02赞同 展开评论 打赏 - 卸载当前的
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。这个错误是因为megatron_util库中缺少了一个名为
get_model_parallel_rank()的函数，这可能是由于库的版本不兼容导致的。
为了解决这个问题，您可以尝试以下方法：- 更新或降级megatron_util库的版本，确保它与您的环境和其他依赖项兼容。
- 检查并确认所有相关的Python依赖项都已正确安装和更新。
- 如果可能的话，尝试在另一个环境中运行代码，看看是否还会出现同样的问题。
- 联系模型作者或其他用户，看他们是否有遇到类似问题的经验和解决方案。
2023-11-19 15:18:01赞同 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr的FunClip怎么安装的？
1577
小白求助，跟着大模型微调教程做不太明白
503
如何下载llama模型到本地？
2756
练的pth模型文件，怎么转成bin文件？
839
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1099
modelscope-funasr有没有开源的语音唤醒，自定义唤醒？
368
modelscope-funasr在安卓平台可以集成sense voice吗？
107
modelscope-funasr实时ASR的微调该怎么操作？
484
modelscope-funasr热词怎么设置才有效？
391
gpt3,加载数据时，MsDataset.load报错
1126
展开全部
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
1247
2024年6月118篇代码大模型论文最全整理
646
【AI 技术分享】大模型与数据检索的探索实践
146
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
584
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
887
告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
313
前端大模型应用笔记（二）：最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文，表现优异，和移动端更配
56
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
848
ModelScope X 昇腾910快速上手
510
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
1285
展开全部
