ModelScope中,为 啥gpu使用率上不去 ?

" d4d10a0a2009d3625055a6eeb225f5ed.jpg
2d0de813ee2e0d1aa62d2c9d940f7d4e.jpg
CUDA_VISIBLE_DEVICES=1 \
python llm_sft.py \
--model_type qwen1half-14b-chat \
--model_id_or_path /root/autodl-tmp/swift/Qwen1.5-14B-Chat\
--custom_train_dataset_path /root/autodl-tmp/swift/Processed_Dabby.jsonl\
--batch_size 64 \
--max_length 4096 \
--use_loss_scale true \
--gradient_accumulation_steps 2 \
--learning_rate 5e-5 \
--use_flash_attn true \
--eval_steps 2000 \
--save_steps 2000 \
--train_dataset_sample -1 \
--num_train_epochs 1 \
--check_dataset_strategy none \
--gradient_checkpointing true \
--weight_decay 0.1 \
--max_grad_norm 1.0 \
--warmup_ratio 0.03 \
--save_total_limit 2 \
--logging_steps 10 \
--use_flash_attn false \
--sft_type lora \
--lora_target_modules ALL \
--lora_rank 8 \
--lora_alpha 32 ModelScope中,为 啥gpu使用率上不去 ? 数据有200条 ,以上是运行脚本。"

展开
收起
小小爱吃香菜 2024-07-17 08:19:14 52 发布于吉林 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • --use_flash_attn true 单卡,CUDA_VISIBLE_DEVICES=0 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-07-23 15:43:08 举报
    赞同 展开评论

    评论

    全部评论 (0)

    登录后可评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等