基于CUDA12.1+CUDNN8.9+PYTORCH2.3.1,实现自定义数据集训练

简介: 文章介绍了如何在CUDA 12.1、CUDNN 8.9和PyTorch 2.3.1环境下实现自定义数据集的训练,包括环境配置、预览结果和核心步骤,以及遇到问题的解决方法和参考链接。

0 结果预览

1 核心点

yolo命令行CL需要将虚拟环境的yolo程序加入系统路径。

遇到conda install 失效问题,重建新的虚拟环境,再进行安装。

whl可以下载好后再安装。

pip install F:\tool\ai\torch-2.3.1+cu121-cp310-cp310-win_amd64.whl
pip install F:\tool\ai\torchvision-0.18.1+cu121-cp310-cp310-win_amd64.whl
pip install F:\tool\ai\torchaudio-2.3.1+cu121-cp310-cp310-win_amd64.whl

2 参考链接

【yolov8】从0开始搭建部署YOLOv8,环境安装+推理+自定义数据集搭建与训练,一小时掌握_哔哩哔哩_bilibili

CUDA安装&cuDNN、TensorRT版本匹配_cuda和cudnn版本匹配-CSDN博客

TensorRT 10.x Download | NVIDIA Developer

PyTorch

Anaconda 和 VSCode 配置Python编程环境教程_anaconda vscode python-CSDN博客

GPU版本pytorch(Cuda12.1)清华源快速安装一步一步教!小白教学~_pytorch清华源-CSDN博客

conda配置python环境:安装gpu版本的pytorch、torchvision、torchaudio、pytorch-cuda_conda install pytorch torchvision torchaudio pytor-CSDN博客

Anaconda中如何配置国内镜像源安装外部库(含conda永久配置和pip临时配置方法)_conda中科大镜像源-CSDN博客

从零开始下载torch+cu(无痛版)_torch包下载-CSDN博客

Previous PyTorch Versions | PyTorch

# CUDA 11.8

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

# CUDA 12.1

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# CPU Only

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 cpuonly -c pytorch

# ROCM 6.0 (Linux only)

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/rocm6.0

# CUDA 11.8

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.1

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

# CPU only

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url

​

https://download.pytorch.org/whl/cpu

pytorch-wheels-cu121安装包下载_开源镜像站-阿里云 (aliyun.com)

用whl安装pytorch踩坑实录(whl is not a supported wheel on this platform.)_离线安装pytorch的whl文件失败-CSDN博客

​
channels:

  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/cloud/conda-forge/

  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/

  - Simple Index

  - Simple Index

  - Simple Index

  - https://pypi.hustunique.com/

  - https://pypi.sdutlinux.org/

  - https://pypi.douban.com/simple/

show_channel_urls: true

envs_dirs:

  - D:\ProgramData\Anaconda3\envs

pkgs_dirs:

  - D:\ProgramData\Anaconda3\pkgs

  - C:\Users\pgjgg\.conda\envs

  - C:\Users\pgjgg\AppData\Local\conda\conda\envs

​

conda创建环境过程中出现“Solving environment: failed”报错的解决办法-CSDN博客

​
show_channel_urls: true

channel_alias: Index of /anaconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

default_channels:

  - Index of /anaconda/pkgs/main/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/free/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/r/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/pro/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/msys2/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

custom_channels:

  conda-forge: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  msys2: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  bioconda: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  menpo: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  pytorch: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  simpleitk: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

channels:

  - defaults

ssl_verify: true

Conda虚拟环境更新pip方法_conda update pip-CSDN博客

conda install -c conda-forge rdkit

& : 无法将“D:\Software\Python\Anaconda\Scripts\conda.exe”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。-CSDN博客

原因其实就是找不到途中说的conda.exe文件,所以需要进入上图红字第三行的路径,将profile.ps1这个文件打开,可用记事本或者notepad++。

相关文章
|
3月前
|
机器学习/深度学习 存储 PyTorch
PyTorch自定义学习率调度器实现指南
本文将详细介绍如何通过扩展PyTorch的 ``` LRScheduler ``` 类来实现一个具有预热阶段的余弦衰减调度器。我们将分五个关键步骤来完成这个过程。
185 2
|
6月前
|
机器学习/深度学习 人工智能 PyTorch
|
4月前
|
机器学习/深度学习 并行计算 PyTorch
GPU 加速与 PyTorch:最大化硬件性能提升训练速度
【8月更文第29天】GPU(图形处理单元)因其并行计算能力而成为深度学习领域的重要组成部分。本文将介绍如何利用PyTorch来高效地利用GPU进行深度学习模型的训练,从而最大化训练速度。我们将讨论如何配置环境、选择合适的硬件、编写高效的代码以及利用高级特性来提高性能。
842 1
|
4月前
|
机器学习/深度学习 并行计算 PyTorch
PyTorch与DistributedDataParallel:分布式训练入门指南
【8月更文第27天】随着深度学习模型变得越来越复杂,单一GPU已经无法满足训练大规模模型的需求。分布式训练成为了加速模型训练的关键技术之一。PyTorch 提供了多种工具来支持分布式训练,其中 DistributedDataParallel (DDP) 是一个非常受欢迎且易用的选择。本文将详细介绍如何使用 PyTorch 的 DDP 模块来进行分布式训练,并通过一个简单的示例来演示其使用方法。
496 2
|
4月前
|
机器学习/深度学习 PyTorch 测试技术
深度学习入门:使用 PyTorch 构建和训练你的第一个神经网络
【8月更文第29天】深度学习是机器学习的一个分支,它利用多层非线性处理单元(即神经网络)来解决复杂的模式识别问题。PyTorch 是一个强大的深度学习框架,它提供了灵活的 API 和动态计算图,非常适合初学者和研究者使用。
57 0
|
5月前
|
机器学习/深度学习 PyTorch TensorFlow
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
|
6月前
|
机器学习/深度学习 资源调度 PyTorch
【从零开始学习深度学习】15. Pytorch实战Kaggle比赛:房价预测案例【含数据集与源码】
【从零开始学习深度学习】15. Pytorch实战Kaggle比赛:房价预测案例【含数据集与源码】
|
6月前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
【从零开始学习深度学习】45. Pytorch迁移学习微调方法实战:使用微调技术进行2分类图片热狗识别模型训练【含源码与数据集】
|
2月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
333 2
|
15天前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
33 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers