一、深度学习概念

1.深度学习定义

深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归

深度学习分类：

有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；

无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。

2.深度学习应用

图像处理领域主要应用

图像分类(物体识别)：整幅图像的分类或识别

物体检测：检测图像中物体的位置进而识别物体

图像分割：对图像中的特定物体按边缘进行分割

图像回归：预测图像中物体组成部分的坐标

语音识别领域主要应用

语音识别：将语音识别为文字

声纹识别：识别是哪个人的声音

语音合成：根据文字合成特定人的语音

自然语言处理领域主要应用

语言模型：根据之前词预测下一个单词。

情感分析：分析文本体现的情感(正负向、正负中或多态度类型)。

神经机器翻译：基于统计语言模型的多语种互译。

神经自动摘要：根据文本自动生成摘要。

机器阅读理解：通过阅读文本回答问题、完成选择题或完型填空。

自然语言推理：根据一句话(前提)推理出另一句话(结论)。

综合应用

图像描述：根据图像给出图像的描述句子

可视问答：根据图像或视频回答问题

图像生成：根据文本描述生成图像

视频生成：根据故事自动生成视频

二、资料总结

1.机器学习算法

手写机器学习笔记 github

机器学习算法公式推导以及numpy实现 github

人工智能相关术语 link

周志华《机器学习》手推笔记 github

机器学习算法 基于西瓜书以及《统计学习方法》 github

2.算法比赛相关

数据挖掘比赛笔记总结 link

算法竞赛笔记 github

算法模型调优指南 link

人工智能竞赛Top解决方案 github

数据竞赛优胜解集锦 github

特征工程小锦囊 github

3.算法岗面试相关

算法岗工作总结 github

人工智能实战面试学习路线图 Ai-Learn

百面机器学习之模型评估 link

面向机器学习的特征工程 github

深度学习500问 github

深度学习无限问 github

计算机视觉知识点总结 link

深度学习CV领域最瞩目的成果 link

算法工程师技术路线图 link

深度学习基础

基础教程

机器学习与深度学习基础概念介绍 link

怎样写一个深度学习框架 link

深度学习算法地图 link

卷积神经网络的感受野 link

「深」为什么重要，以及还有什么深的网络 link

深度学习入门之激活层及其选择的建议 link

深度学习如何优化神经网络结构|架构 link

深度学习“科学炼丹”手册 link

深度学习训练tricks整理 数据增强等技巧 link

pytorch图卷积库 github

AI模型序列化总结 github

AiLearning 传统机器学习的讲解、分析和代码github

CNN真的需要下采样（上采样）吗? link

构建深度神经网络，我有20条「不成熟」的小建议 link

feature map 相加和拼接的不同 link

你有哪些deep learning（rnn、cnn）调参的经验？ link

官方文档类

numpy-ml github

AI实战-practicalAI 中文版 github

TensorFlow 2.0 Tutorials github

PaddlePaddle V2教程 github

深度学习课程(第四梯)所设计的课程实作 github

TensorFlow 内核剖析 github

各类算法综述 github

综述类文章

目标检测的综述 link

常见的模型算法评估指标 link

GAN万字长文综述 link

神经网络压缩综述 link

细粒度图像分析综述 link

人脸识别损失函数综述 link

OCR papernote github

图像分割综述 link

图像内容鉴黄算法综述 link

AI技术三大应用领域：智能医疗、自动驾驶、智慧营销产业发展现状分析 link

深度学习模型在各大公司实际生产环境的应用讲解文章 github

深度学习AI产品全栈 github 点评

论文与代码

论文代码合集 github

CVPR 2021 论文和开源项目合集(Papers with Code) github

深度学习 论文解读 CV_PaperDaily github

发布研究论文代码技巧 github

深度学习模型

项目地址：https://github.com/SnailTyan/deep-learning-papers-translation

图像分类 Image Classification

经典网络模型

AlexNet

ImageNet Classification with Deep Convolutional Neural Networks

中文版

中英文对照

VGG

Very Deep Convolutional Networks for Large-Scale Image Recognition

中文版

中英文对照

ResNet

Deep Residual Learning for Image Recognition

中文版

中英文对照

GoogLeNet

Going Deeper With Convolutions

中文版

中英文对照

BN-GoogLeNet

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

中文版

中英文对照

Inception-v3

Rethinking the Inception Architecture for Computer Vision

中文版

中英文对照

SENet

Squeeze-and-Excitation Networks

中文版

中英文对照

Transformers

Vision Transformer link

SETR：基于Transformer的语义分割 link

End-to-End Object Detection with Transformers link

Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet github

vision-transformer-pytorch

如何简单高效地加速基于BERT的序列标注模型？细粒度早退机制可能会优于模型蒸馏 link

当Transformer遇见U-Net！ link

轻量网络

Mobile

MobileNetV2

MobileNetV2: Inverted Residuals and Linear Bottlenecks

中文版

中英文对照

轻量级卷积神经网络的设计技巧 link

MixNet-Pytorch github

MobileNetV3 pytorch 2019 github linklinkgithub

ShuffleNet 官方开源github

为什么MobileNet及其变体如此之快 github

dabnn 二值网络 github

神经网络量化简介 github

手机端高性能卷积神经网络推理引擎概览 github

蒸馏 剪枝 量化

模型加速概述与模型裁剪算法技术解析 link

Tensorflow模型量化(Quantization)原理及其实现方法 link

基于Pytorch的卷积神经网络剪枝 link

用FPGA加速卷积神经网络CNN运算 github

模型压缩 link

神经网络量化简介 link

模型转换、模型压缩工具汇总 link

模型压缩总览 link

AIMET是一个为经过训练的神经网络模型提供高级量化和压缩技术的库 github

Pytorch实现卷积神经网络训练量 link

深入了解NNIE量化技术 link

Knowledge Distillation知识蒸馏简单实现 link

神经网络量化入门–量化感知训练 github

EagleEye：一种用模型剪枝的快速衡量子网络性能的方法 link

激活函数与优化函数

学习参考（强推）：link

3.损失函数

损失函数技术总结 link

根据标签分布来选择损失函数 link

深度学习多目标优化的多个loss应该如何权衡 link

归一化方法总结 link

Kaggle图像分割比赛中的损失函数及keras实现 link

11个重要的机器学习模型评估指标 link

IQA-optimization 图像质量的损失函数 github

regression-losses-pytorch github

分类回归损失函数汇总 link

Learned Perceptual Image Patch Similarity (LPIPS) metric github

超分损失函数小结 link

DataGene - 识别数据集之间的相似度 github

Muti-Similarity Loss link github

FAT：一种快速的Triplet Loss近似方法，学习更鲁棒的特征表示，并进行有噪声标签的提纯 link github

用于医学图像分割的损失函数 link

目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss [link]

4.分类

CNN模型合集 link

分类实现合集 pytorch github

让CNN有了平移不变性 link

lottery-ticket-hypothesis github
pytorch_image_classification github
deeplearning-modelsgithub
EfficientNets-PyTorch 2019 github
ML_GCN PyTorch implementation of Multi-Label Image Recognition with Graph Convolutional Networks, CVPR 2019 github
pytorch_highway_networks github

推崇的CNN架构 link

图卷积网络Numpy实现 link

PeleeNet-基于手机系统的实时网络 link

TResNet: High Performance GPU-Dedicated Architecture github

ResNeSt 李沐团队提出最强ResNet改进版，多项任务达到SOTA github

SCNet - PyTorch官方实现CVPR 2020论文“使用自校准卷积改进卷积网络” github

SimCLR 对比学习得到一个好的视觉预训练模型 link

SimCLR框架的理解和代码实现以及代码讲解 link

RepVGG 2021 link

深度学习框架

Tensorflow

《30天吃掉那只 TensorFlow2.0 》开篇辞 github

pytorch

github nightly torch_stable pytorch_lightning

《动手学深度学习》（Dive into Deep Learning）PyTorch github

eat_pytorch_in_20_days eat_pytorch_in_20_days

pytorch-inference github

Pytorch 学习流程汇总 link

PyTorch 官方中文教程 github

在PyTorch中实现的语义分割模型，数据集和损失 github

Fast-Pytorch github

《动手学深度学习》例子的PyTorch实现 github

9大主题卷积神经网络(CNN)的PyTorch实现 github

PyTorch-Models github

pytorch-image-models Pytorch Image Models (rwightman.github.io)

如何将其他框架训练模型导入到pytorch中 link link2

torchcv github

Pytorch之contiguous函数 link

Awesome-Pytorch-list github

一组有关pytorch功能的Jupyter笔记本和示例 github

pytorch 小技巧

pytorch-memonger 减少内存 github

具有SOTA实时性能和预先训练的权重的EfficientDet官方pytorch重现 github

Pytorch的4种并行训练方法（单机多卡） github

PyTorch的深度学习项目模板(支持分布式学习) github

使用PyTorch手写代码从头构建LSTM，更深入的理解其工作原理 github

Paddlepaddle

基于PaddlePaddle的高性能对象检测和人脸检测工具包 github

PaddleSlim

ONNX

onnxruntime github doc

详细记录YOLACT实例分割ncnn实现 link

系统性学习ONNX：背景、格式及简化方法 link

onnx2nn

onnx-simplifier

tensorRT

Pytorch通过保存为ONNX模型转TensorRT5 link

onnx-tensorrt github

PyTorch转TensorRT流程 link

windows环境下安装TensorRT 5.0教程（win10） link

TensorRT-7 Network Lib 包括常用目标检测、关键点检测、人脸检测、OCR等 github

其他框架

清华AI框架 jittor官网 github

MegEngine 旷世AI框架 link github

mindspore 华为AI框架mindspore

商汤开源框架ppl.nn ppl.cv

5.工具类

绘图工具

画网络图等tensorwatch link github

教程 | 如何使用Keras、Redis、Flask和Apache把深度学习模型部署到生产环境？ link

pytorch可视化 github

FlashTorch 特征可视化 link

画卷积网络 github

netron 网络结构图显示 github

画图工具 github

netron 查看网络工具 github

Model Zoo link

神经网络模型图示 github

combo:「Python机器学习模型合并工具库」 github

数据工具

labelImg github
modelsummary github
pytorch-experiments-template github
m2cgen Transform ML models into a native code (Java, C, Python, etc.) with zero dependencies github

PyTorch工具、最佳实践、代码风格指南 github

FLAT - 人脸特征点标注工具 github

把Caffe的模型转换为Pytorch模型 link

13.Torchcam: PyTorch模型类激活图浏览器 github

PopGen是用PyTorch编写的生成建模工具包 github

Lucent：适用于 PyTorch 的 Lucid 深度网络可视化/可解释性开发库 github

CV方向

图像处理

opencv基础教程csdn

OpenCV中文官方文档 link

facechanging 变脸 github

AI美颜系列 CSDN

图像处理算法 博客园

图像的模糊检测方法 link

图像保边滤波算法集锦系列 github

只(挚)爱图像处理 link

Photoshop 算法原理 link

图像处理初学者设计的 100 个问题 github

物体检测Object Detection

YOLO

You Only Look Once: Unified, Real-Time Object Detection

中文版

中英文对照

SSD

SSD: Single Shot MultiBox Detector

中文版

中英文对照

YOLO9000

YOLO9000: Better, Faster, Stronger

中文版

中英文对照

Deformable-ConvNets

Deformable Convolutional Networks

中文版

中英文对照

Faster R-CNN

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

中文版

中英文对照

R-FCN

R-FCN: Object Detection via Region-based Fully Convolutional Networks

中文版

中英文对照

FPN

Feature Pyramid Networks for Object Detection

中文版

中英文对照

目标检测

目标检测之Neck选择 link

详解目标检测中边界框的回归策略 link

目标检测中的特征冲突与不对齐问题 link

小目标检测学习汇总 link

groupsoftmax-simpledet

在物体检测中搞定小目标 link

vedadet检测框架

在目标检测中如何解决小目标的问题？ link

视频目标检测

基于视频的目标检测算法研究github

基于坐标点做目标检测

Centernet相关—尤其有关heatmap相关解释 link

FreeAnchor: Learning to Match Anchors for Visual Object Detection (NeurIPS 2019) github

用于实时物体检测并且训练时间友好的网络 - TTFNet github

CenterNet——Objects as Points论文解读 2019 link

ExtremeNet pytorch 2019 link github

morph-net 2019 keras github

CenterNet 2019 pytorch github

FCOS 2019 github FCOS_GluonCVgithub

CenterNet 2019 github

PaperReadingGroup-10-CenterNet之理解 link

FoveaBox 2019 link

RepPoints V2 github link

AdelaiDet github link

pytorch_simple_CenterNet_45

When Anchor-free Beyond the Object Detection

PPDet：减少Anchor-free目标检测中的标签噪声，小目标检测提升明显 2020 github

轻量级Anchor-Free目标检测模型NanoDet github

centerX github

NanoDet-PyTorch github

LFD-A-Light-and-Fast-Detector github

Centernet link

基于分割

Image Segmentation

U-Net

U-Net: Convolutional Networks for Biomedical Image Segmentation

中文版

中英文对照

DenseBox pytorch github link

写给小白的YOLO介绍 link

OneNet：一阶段的端到端物体检测器，无需NMS link

Object Detection Made Simpler by Eliminating Heuristic NMS github

基于候选框做目标检测

目标检测新突破！来了解Res2Net深度多尺度目标检测架构 link github

目标检测中Anchor的本质分析 github

利用YOLOv3结合行人重识别模型，实现行人的检测识别，查找特定行人 github

CBNet:一种用于目标检测的复合骨干网络体系结构 2019 github

单级目标检测：YOLO与SSD，我选SSD！！！ link

【SSD算法】史上最全代码解析-核心篇 github

MXNet的一个开源项目gluoncv里的yolov3代码，写了一份中文注解 github

faster-rcnn pytorch github

十分钟训好SSD416进行钢筋检测 link github

Why anchor link

Double-Head RCNN 通过增加多个head提升准确率github

对YOLOv3做模型剪枝 pytorch 2019 github

simpledet NAS-FPN 2019 mxnetgithub

SSD-PyTorch源码解析 link github

PoolNet pytorch 2019 github

SSD pytorch github link

2018云从人头技术 冠军方案分享 github

目标检测进化史 link

ThunderNet: 轻量级实时检测网络

mmdetection github

Rapid satellite imagery object detection 2018 github

Yolo系列检测器的pytorch实现 github

awesome-object-detection github

deep_learning_object_detection github

RFCN_CoupleNet pytorch github

Yolo-v2 pytorch github

RFBNet pytorch github

CFENet pytorch github

BiSeNet pytorch github

kaggle 大白鲸目标检测 github

R-FCN+ResNet-50用自己的数据集训练模型 link

trident net + refinedet 目标检测 github

基于SSD框架在建筑工地上检测安全帽的佩戴并识别安全帽的相应颜色 link

基于 Mask R-CNN 的街景广告检测与模糊 tensorflow github

yolov3通道和图层修剪 github

YOLOv3+ASFF(自适应空间特征融合)组合，性能优于CornerNet和CenterNet等 github

使用通道修剪的Stronger-Yolo的Pytorch实现 github

Gaussian YOLOv3的PyTorch实现 github

PyTorch实现的EfficientDet(可扩展且高效的对象检测) github

Kaggle RSNA肺炎检测挑战赛中第一名解决方案的代码 github

Yolo-v3 and Yolo-v2 for Windows and Linux github link

目标检测算法之YOLO系列算法的Anchor聚类代码实战 link github

天池大赛项目：天池新品实验室 - 淘宝直播商品识别 github

只用一页jupyter notebook完成Faster RCNN github

Pytorch版本中的Faster RCNN模型，已在ResGen 101的Visual Genome上进行了预训练 github

Yolo -v4 github YOLOv4的最小PyTorch实现 github 讲解

Faster-Rcnn：Two-Stage目标检测模型在Pytorch当中的实现 github

Scale-equalizing Pyramid Convolution for object detection github link

End-to-End Object Detection with Transformers 2020 github

yolov5 github

PP-YOLO link github

YOLOv3使用笔记——Kmeans聚类计算anchor boxes link

YOLO v4训练自己的数据集 link

深入浅出Yolo系列之Yolov3&Yolov4&Yolov5核心基础知识完整讲解 link

深入浅出Yolo系列之Yolov5核心基础知识完整讲解 link

You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery 卫星图片多尺寸物体检测 link github

目标检测和感受野的总结和想法 link

目标检测算法anchor聚类实现(coco+voc)