超赞的 PyTorch 资源大列表,有人把它翻译成了中文版!

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: 超赞的 PyTorch 资源大列表,有人把它翻译成了中文版!

自 2017 年 1 月 PyTorch 推出以来,其热度持续上升。PyTorch 能在短时间内被众多研究人员和工程师接受并推崇是因为其有着诸多优点,如采用 Python 语言、动态图机制、网络构建灵活以及拥有强大的社群等。


最近红色石头在浏览 GitHub 的时候发现了一份超赞的 Pytorch 资源大列表,基本上把 PyTorch 实现的 NLP/CV 相关项目、示例代码、相关库、论文实现等都包含了。这里我做了整理,推荐给大家。


巧的是,看到这份资源大列表比较熟悉,对比之前的文章发现,原来之前 GitHub 上有原始的英文版,这份是汉化翻译的,良心啊~


原来的英文版 GitHub 项目地址:


https://github.com/bharathgs/Awesome-pytorch-list


本文推荐的汉化版 GitHub 地址:


https://github.com/xavier-zy/Awesome-pytorch-list-CNVersion


image.png

目录


这份资源大列表主要包含下面的内容:


1. PyTorch 与相关库

  • 自然语言处理与语音处理
  • 计算机视觉
  • 概率库与生成库
  • 其他库

2. 教程与示例

3. 论文实现

4. 报告与会议

5. 其它


下面分别介绍!


1. 自然语言处理与语音处理


这部分包含了 41 个 PyTorch NLP 相关的热门项目,例如一种跨多说话者的语音生成方法、语音转文字的端到端模型实现、快速生成WaveNet的实现;PyTorch NLP 相关的热门库,例如基于 FastAI 的 Pytorch NLP 库、用来计算和使用多语言语句嵌入的库 LASER;PyTorch NLP 相关的热门框架和工具,例如pytorch-seq2seq、PyTorch 中的 Sequence-to-Sequence 框架 nmtpytorch等等。


image.png


值得一提的是,这些项目很多都是官方的实现,一般会有系统的使用说明,包含了安装、加载、训练、测试和演示等多方面的详细解释。而且官方也一直在更新,非常不错。


2. 计算机视觉


这部分包含了 25 个 PyTorch CV 相关的热门项目和库。例如包含流行的数据集、模型架构、计算机视觉中常用的图像变换的 TorchVision,用于机器学习的图像增强库 Augmentor,实例分割与对象检测的快速模块化参考实现 maskrcnn-benchmark,基于 PyTorch 的 2D 和 3D 面部对齐库 ace-alignment 等等。


image.png


该部分项目主要涉及神经风格迁移、图像分类、人脸对齐、语义分割、RoI 计算、图像增强等任务,还有一些特殊的 CNN 架构。


3. 概率库和生成库


这部分主要包括概率编程和统计推断、生成概率库、PyTorch 中的贝叶斯优化等。


image.png


4. 教程与示例


这部分主要介绍 66 个 PyTorch 经典教程,包括强化学习、NLP、CV。Logistic、CNN、RNN、LSTM 等神经网络模型由数行代码实现,一些高级示例由复杂模型实现。


image.png

这份教程示例清单基本涵盖了 PyTorch 各种教程,难易程度不同,适合刚入门的新手,也有适合进阶学习的。


例如,第 5 个是 PyTorch 各种教程,在其官方教程里,内容丰富:


https://pytorch.org/tutorials/


可谓最经典的 PyTorch 入门教程《Deep Learning with PyTorch: A 60 Minute Blitz》就出自这里。


image.png

5. 论文实现


这部分包括了 338 个 PyTorch 相关的论文实现。例如用PyTorch实现的产生序列数据的递归变分自动编码器、PyTorch 实现 V-Net:全卷积神经网络在体医学图像分割中的应用、生成对抗网络的 PyTorch 简单实现,关注于动漫脸谱绘画等等。


image.png

6. 其它


这部分主要介绍了 37 个 PyTorch 各种各种资源,包括教程、论文、项目、社区等的清单,PyTorch 论坛、PyTorch 深度学习模板等。还有一些非常有意思的项目,例如使用神经网络作画、用 PyTorch 实现的聊天机器人、用 AlphaZero 算法玩五子棋等。


image.png


总的来说,这是一份超赞的 PyTorch 资源大列表,非常全面。而且对原项目进行了翻译。值得推荐!


最后再附上该项目的 GitHub 地址:


https://github.com/xavier-zy/Awesome-pytorch-list-CNVersion

相关文章
|
PyTorch 算法框架/工具 计算机视觉
|
机器学习/深度学习 存储 自然语言处理
基于Pytorch的Transformer翻译模型前期数据处理方法
基于Pytorch的Transformer翻译模型前期数据处理方法
214 0
基于Pytorch的Transformer翻译模型前期数据处理方法
|
机器学习/深度学习 PyTorch 算法框架/工具
|
Java 测试技术 PyTorch
Facebook开源PyTorch版本fairseq翻译模型,训练速度提高50%
FAIR的开源序列到序列(sequence-to-sequence)引擎现在可以在PyTorch使用了。FAIR今天发布了fairseq-py,这是一个用PyTorch实现的卷积seq2seq模型。fairseq-py是语言翻译以及其他 seq2seq 的NLP任务的一个很好的模型,新的工具包比以前的更高效率:生成翻译的速度比以前的提高了80%,训练速度提高了50%。
3383 0
|
2月前
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
397 2
|
25天前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
42 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
|
2月前
|
机器学习/深度学习 自然语言处理 监控
利用 PyTorch Lightning 搭建一个文本分类模型
利用 PyTorch Lightning 搭建一个文本分类模型
79 8
利用 PyTorch Lightning 搭建一个文本分类模型
|
2月前
|
机器学习/深度学习 自然语言处理 数据建模
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
本文深入探讨了Transformer模型中的三种关键注意力机制:自注意力、交叉注意力和因果自注意力,这些机制是GPT-4、Llama等大型语言模型的核心。文章不仅讲解了理论概念,还通过Python和PyTorch从零开始实现这些机制,帮助读者深入理解其内部工作原理。自注意力机制通过整合上下文信息增强了输入嵌入,多头注意力则通过多个并行的注意力头捕捉不同类型的依赖关系。交叉注意力则允许模型在两个不同输入序列间传递信息,适用于机器翻译和图像描述等任务。因果自注意力确保模型在生成文本时仅考虑先前的上下文,适用于解码器风格的模型。通过本文的详细解析和代码实现,读者可以全面掌握这些机制的应用潜力。
136 3
三种Transformer模型中的注意力机制介绍及Pytorch实现:从自注意力到因果自注意力
|
3月前
|
机器学习/深度学习 PyTorch 调度
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型
在深度学习中,学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率,但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法,包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率,并介绍了渐进式解冻和层适应学习率等高级技巧,帮助研究者更好地优化模型训练。
222 4
在Pytorch中为不同层设置不同学习率来提升性能,优化深度学习模型