基于CUDA12.1+CUDNN8.9+PYTORCH2.3.1,实现自定义数据集训练

简介: 文章介绍了如何在CUDA 12.1、CUDNN 8.9和PyTorch 2.3.1环境下实现自定义数据集的训练,包括环境配置、预览结果和核心步骤,以及遇到问题的解决方法和参考链接。

0 结果预览

1 核心点

yolo命令行CL需要将虚拟环境的yolo程序加入系统路径。

遇到conda install 失效问题,重建新的虚拟环境,再进行安装。

whl可以下载好后再安装。

pip install F:\tool\ai\torch-2.3.1+cu121-cp310-cp310-win_amd64.whl
pip install F:\tool\ai\torchvision-0.18.1+cu121-cp310-cp310-win_amd64.whl
pip install F:\tool\ai\torchaudio-2.3.1+cu121-cp310-cp310-win_amd64.whl

2 参考链接

【yolov8】从0开始搭建部署YOLOv8,环境安装+推理+自定义数据集搭建与训练,一小时掌握_哔哩哔哩_bilibili

CUDA安装&cuDNN、TensorRT版本匹配_cuda和cudnn版本匹配-CSDN博客

TensorRT 10.x Download | NVIDIA Developer

PyTorch

Anaconda 和 VSCode 配置Python编程环境教程_anaconda vscode python-CSDN博客

GPU版本pytorch(Cuda12.1)清华源快速安装一步一步教!小白教学~_pytorch清华源-CSDN博客

conda配置python环境:安装gpu版本的pytorch、torchvision、torchaudio、pytorch-cuda_conda install pytorch torchvision torchaudio pytor-CSDN博客

Anaconda中如何配置国内镜像源安装外部库(含conda永久配置和pip临时配置方法)_conda中科大镜像源-CSDN博客

从零开始下载torch+cu(无痛版)_torch包下载-CSDN博客

Previous PyTorch Versions | PyTorch

# CUDA 11.8

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

# CUDA 12.1

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# CPU Only

conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 cpuonly -c pytorch

# ROCM 6.0 (Linux only)

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/rocm6.0

# CUDA 11.8

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.1

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

# CPU only

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url

​

https://download.pytorch.org/whl/cpu

pytorch-wheels-cu121安装包下载_开源镜像站-阿里云 (aliyun.com)

用whl安装pytorch踩坑实录(whl is not a supported wheel on this platform.)_离线安装pytorch的whl文件失败-CSDN博客

​
channels:

  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/cloud/conda-forge/

  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/

  - Simple Index

  - Simple Index

  - Simple Index

  - https://pypi.hustunique.com/

  - https://pypi.sdutlinux.org/

  - https://pypi.douban.com/simple/

show_channel_urls: true

envs_dirs:

  - D:\ProgramData\Anaconda3\envs

pkgs_dirs:

  - D:\ProgramData\Anaconda3\pkgs

  - C:\Users\pgjgg\.conda\envs

  - C:\Users\pgjgg\AppData\Local\conda\conda\envs

​

conda创建环境过程中出现“Solving environment: failed”报错的解决办法-CSDN博客

​
show_channel_urls: true

channel_alias: Index of /anaconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

default_channels:

  - Index of /anaconda/pkgs/main/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/free/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/r/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/pro/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  - Index of /anaconda/pkgs/msys2/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

custom_channels:

  conda-forge: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  msys2: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  bioconda: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  menpo: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  pytorch: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  simpleitk: Index of /anaconda/cloud/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

channels:

  - defaults

ssl_verify: true

Conda虚拟环境更新pip方法_conda update pip-CSDN博客

conda install -c conda-forge rdkit

& : 无法将“D:\Software\Python\Anaconda\Scripts\conda.exe”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。-CSDN博客

原因其实就是找不到途中说的conda.exe文件,所以需要进入上图红字第三行的路径,将profile.ps1这个文件打开,可用记事本或者notepad++。

相关文章
|
2月前
|
机器学习/深度学习 PyTorch 测试技术
从训练到推理:Intel Extension for PyTorch混合精度优化完整指南
PyTorch作为主流深度学习框架,凭借动态计算图和异构计算支持,广泛应用于视觉与自然语言处理。Intel Extension for PyTorch针对Intel硬件深度优化,尤其在GPU上通过自动混合精度(AMP)提升训练与推理性能。本文以ResNet-50在CIFAR-10上的实验为例,详解如何利用该扩展实现高效深度学习优化。
138 0
|
4月前
|
机器学习/深度学习 PyTorch API
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
本文深入探讨神经网络模型量化技术,重点讲解训练后量化(PTQ)与量化感知训练(QAT)两种主流方法。PTQ通过校准数据集确定量化参数,快速实现模型压缩,但精度损失较大;QAT在训练中引入伪量化操作,使模型适应低精度环境,显著提升量化后性能。文章结合PyTorch实现细节,介绍Eager模式、FX图模式及PyTorch 2导出量化等工具,并分享大语言模型Int4/Int8混合精度实践。最后总结量化最佳策略,包括逐通道量化、混合精度设置及目标硬件适配,助力高效部署深度学习模型。
642 21
PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
|
4月前
|
机器学习/深度学习 监控 算法
利用PyTorch处理个人数据集
如此看来,整个处理个人数据集的过程就像进行一场球赛。你设立球场,安排队员,由教练训练,最后你可以看到他们的表现。不断地学习,不断地调整,你的模型也会越来越厉害。 当然,这个过程看似简单,但在实际操作时可能会奇怪各种问题。需要你在实践中不断摸索,不断学习。可是不要怕,只要你热爱,不怕困难,你一定能驯服你的数据,让他们为你所用!
111 35
|
机器学习/深度学习 存储 PyTorch
PyTorch自定义学习率调度器实现指南
本文将详细介绍如何通过扩展PyTorch的 ``` LRScheduler ``` 类来实现一个具有预热阶段的余弦衰减调度器。我们将分五个关键步骤来完成这个过程。
631 2
|
9月前
|
机器学习/深度学习 人工智能 PyTorch
使用PyTorch实现GPT-2直接偏好优化训练:DPO方法改进及其与监督微调的效果对比
本文将系统阐述DPO的工作原理、实现机制,以及其与传统RLHF和SFT方法的本质区别。
612 22
使用PyTorch实现GPT-2直接偏好优化训练:DPO方法改进及其与监督微调的效果对比
|
机器学习/深度学习 并行计算 PyTorch
优化技巧与策略:提高 PyTorch 模型训练效率
【8月更文第29天】在深度学习领域中,PyTorch 是一个非常流行的框架,被广泛应用于各种机器学习任务中。然而,随着模型复杂度的增加以及数据集规模的增长,如何有效地训练这些模型成为了一个重要的问题。本文将介绍一系列优化技巧和策略,帮助提高 PyTorch 模型训练的效率。
934 0
|
机器学习/深度学习 并行计算 PyTorch
GPU 加速与 PyTorch:最大化硬件性能提升训练速度
【8月更文第29天】GPU(图形处理单元)因其并行计算能力而成为深度学习领域的重要组成部分。本文将介绍如何利用PyTorch来高效地利用GPU进行深度学习模型的训练,从而最大化训练速度。我们将讨论如何配置环境、选择合适的硬件、编写高效的代码以及利用高级特性来提高性能。
2033 1
|
机器学习/深度学习 PyTorch 测试技术
深度学习入门:使用 PyTorch 构建和训练你的第一个神经网络
【8月更文第29天】深度学习是机器学习的一个分支,它利用多层非线性处理单元(即神经网络)来解决复杂的模式识别问题。PyTorch 是一个强大的深度学习框架,它提供了灵活的 API 和动态计算图,非常适合初学者和研究者使用。
222 0
|
8天前
|
机器学习/深度学习 数据采集 人工智能
PyTorch学习实战:AI从数学基础到模型优化全流程精解
本文系统讲解人工智能、机器学习与深度学习的层级关系,涵盖PyTorch环境配置、张量操作、数据预处理、神经网络基础及模型训练全流程,结合数学原理与代码实践,深入浅出地介绍激活函数、反向传播等核心概念,助力快速入门深度学习。
41 1
|
8天前
|
机器学习/深度学习 存储 PyTorch
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节
Neural ODE将神经网络与微分方程结合,用连续思维建模数据演化,突破传统离散层的限制,实现自适应深度与高效连续学习。
45 3
Neural ODE原理与PyTorch实现:深度学习模型的自适应深度调节

热门文章

最新文章

推荐镜像

更多