关于qwen2-vl微调最佳实践

我使用参考链接https://www.modelscope.cn/docs/large-model-training-and-inference/multimodal/best-practice/qwen2-vl 中的图像描述微调进行微调测试。
无论我使用Qwen2-VL-2B-Instruct还是Qwen2-VL-7B-Instruct进行微调，都会报错
[rank0]: torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 74.46 GiB.
正常来说无论是就算是7B应该也不会需要到75G左右的微调显存吧，而且就算7B需要那么多，2B也不应该一点变化也没有，也是那么多。
我运行的参数为：
os.environ['TORCH_CUDA_ARCH_LIST']="9.0"
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
os.environ['NPROC_PER_NODE'] = '1'
os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'expandable_segments:True'

sys.argv.extend(['--model_type', 'qwen2_vl'
,'--model','/home/DataAndModel/model_file/Qwen/Qwen2-VL-2B-Instruct'
, '--train_type', 'lora'
, '--dataset', '/home/DataAndModel/Data_flie/Ray_test/train.jsonl'
, '--val_dataset', '/home/DataAndModel/Data_flie/Ray_test/val.jsonl'
, '--deepspeed', '/home/DataAndModel/model_file/Qwen/Qwen2-VL-Instruct-sft/deepSpeed.json'
, '--num_train_epochs', '2'
, '--lora_rank', '4'
, '--lora_alpha', '8'
, '--gradient_checkpointing', 'true'
, '--weight_decay', '0.1'
, '--learning_rate', '1e-4'
, '--max_length', '1024'
])
数据集为自定义数据集，格式也是链接中的格式，大概来说
{"query": "55555", "response": "66666", "images": ["image_path"]}

整体数据集也只有20多条数据。用尽各种方法想要降低显存消耗，但是最后都会提示Tried to allocate 74.46 GiB。
望各位大神不吝赐教，在此拜谢