AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

如何多卡 Finetuning PALM 2.0预训练生成模型?

使用 https://modelscope.cn/models/damo/nlp_palm2.0_pretrained_chinese-base/comment zhon中提供的finetune 代码，多卡训练时 torchrun --nproc_per_nodes=2 ... 其他卡GPU使用率为 0%。

trainer 中添加 launcher='pytorch'，无法进行 evaluation，报错：AssertionError: intra_layer_model parallel group is not initialized。

展开
收起
PALM 2.0预训练生成模型-中文-base
whishtlf 2023-03-10 15:27:59 613 分享 版权
1 条回答
写回答
取消 提交回答
  • 木子李炼丹术

    您好，这个是一个未知的bug，我们正在尝试复现和修复，很抱歉很您带来不便，修复完成后我们会第一时间通知您

    2023-03-23 14:44:33
    赞同 展开评论
相关问答
自然语言处理
OSS的endpoint如何查看
31779
3
0
this xml file does not appear to have any style in
38399
9
0
如果购买了域名，一定要备案才能用吗
39738
36
0
有哪些值得收藏的五个种子搜索引擎&磁力搜索引擎？
98775
16
0
支付宝H5 下载的时候，提示 【请确保该下载文件来源安全,如需浏览,请长按网址复制后使用浏览器访问】
240188
10
0
com/action/joingroup?code=v1是什么意思
210481
20
0
java的官网网址是什么
35607
23
0
企业邮箱免费版
10060
4
0
配置了安全组规则，端口还是无法访问
28794
21
0
互联网信息服务增值电信业务经营许可证申请资料
7207
2
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • 弹性算力革命：企业级GPU云服务如何重构AI与图形处理的效能边界
  • 大模型叙事下的百度智能云：比创新更重要的，是创新的扩散
  • 阿里云服务器架构解析：从X86到高性能计算、异构计算等不同架构性能、适用场景及选择参考
  • Google 发布其开源模型系列最新模型 Gemma 3
  • 《探秘人工智能与鸿蒙系统集成开发的硬件基石》

    • 热门讨论

    热门文章

  • modelscope-funasr==1.0.5依赖的torch版本是多少？
  • modelscope-funasr的 sense voice和funasr的底层asr能力是一样吗？
  • modelscope-funasr在AutoModel里设置了关闭了，结果还是会打日志，为什么？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • open webui的RAG功能根本用不起来
  • modelscope-funasr在安卓平台可以集成sense voice吗？
  • 微调大模型的tokenize_function编写求教
  • 练的pth模型文件，怎么转成bin文件？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • modelscope-funasr热词怎么设置才有效？
    • 展开全部
  • 还在蹲Manus的邀请码？别等了！开源版Manus为你快速创建AI工位，给AI一台电脑，然后你就玩去吧！
  • OWL：告别繁琐任务！开源多智能体系统实现自动化协作，效率提升10倍
  • 阿里通义开源推理模型新王者！QwQ-32B：性能直逼671B的DeepSeek-R1
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 无需邀请码！MetaGPT 开源AI助手 OpenManus，实时反馈+模块化设计，开发者福音
  • Browser Use：40.7K Star！一句话让AI完全接管浏览器！自动规划完成任务，多标签页同时管理
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • 手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型，创建个性化 AI 助手
  • 中文法律AI大模型！LaWGPT 一键生成法律文书，司法考试通过率提升50%
  • autoMate：无需视觉模型！用DeepSeek-V3/R1就能实现自动化操作电脑，支持任何可视化界面
    • 展开全部
    还有其他疑问?
    咨询AI助理