请问下列机器学习PAI这个问题有遇到过吗?

export NCCL_SHM_DISABLE=1 NCCL_DEBUG=INFO export CUDA_VISIBLE_DEVICES=0,1; horovodrun -np 2 python train.py --batch_size 2048 --steps 200 --group_embedding=collective --ev true --input_layer_partitioner 0 --data_location=/root/data --workqueue=true --parquet_dataset=false --smartstaged=false Unknown: ncclCommInitRank failed: invalid usage
请问机器学习PAI这个问题有遇到过吗? 压缩了一下deeprec gpu版image, fitzwang/deeprec:latest

展开
收起
冰激凌甜筒 2023-05-02 20:29:11 248 分享 版权
1 条回答
写回答
取消 提交回答
  • 检查一下NCCL和horovod安装的正确吗,此回答整理自钉群“DeepRec用户群”

    2023-05-02 20:36:23
    赞同 展开评论

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

还有其他疑问?
咨询AI助理