如何多卡 Finetuning PALM 2.0预训练生成模型?
使用 https://modelscope.cn/models/damo/nlp_palm2.0_pretrained_chinese-base/comment zhon中提供的finetune 代码，多卡训练时 torchrun --nproc_per_nodes=2 ... 其他卡GPU使用率为 0%。
trainer 中添加 launcher='pytorch'，无法进行 evaluation，报错：AssertionError: intra_layer_model parallel group is not initialized。
展开
收起
1
条回答
写回答
写回答
相关问答
热门讨论
热门文章
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
386
如何提高qwen-7b-chat-int4的并行处理能力
921
如何下载llama模型到本地？
1973
Distributed package doesn't have NCCL built in
690
modelscope-funasr这个是说明已经支持GPU了吗？
27
modelscope-funasr这个命令可以直接在win10系统下装docker吗？
23
在modelscope-funasr 我添加了热词(hotwords.txt)后， 是重启吗？
23
modelscope-funasr是否有像whisper一样？
22
第二次modelscope-funasr调用的时候，明显变慢了，而且 cpu 消耗变大了，怎么回事？
22
modelscope-funasr的gpu的版本什么时候发布？
21
展开全部
基于LangChain-Chatchat实现的本地知识库的问答应用-快速上手（检索增强生成(RAG)大模型）
122
检索增强生成(RAG)实践：基于LlamaIndex和Qwen1.5搭建智能问答系统
104
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
87
RAG：AI大模型联合向量数据库和 Llama-index，助力检索增强生成技术
65
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
62
DashVector&千问7B模型，打造极简RAG 之 基于专属知识的问答服务实践
218
表格问答
552
使用ModelScope社区搭建OCR应用
1191
ModelScope X 昇腾910快速上手
173
用modelscope分析了百万字的《天龙八部》，原来金庸大师最偏爱的是TA
2077
展开全部
