大概停在这部分很久了，总结并提醒自己一下！
目前遇到的步骤大概如下：
1.指定设备
[2.设置随机种子]
3.创建数据集(数据导入，预处理和打包)
4.创建模型
5.创建优化器
[6.学习率调整策略]
7.开始循环训练
8.预测脚本
1.指定设备
device = torch.device("cuda" if torch.cuda.isavailable() else "gpu")
这里设计两个函数，torch.device和torch.cuda.isavailable。分别是指定设备和判断是否存在gpu。
2.设置随机种子
效果大概是可以让不同次运行程序的训练可以复现，网上的代码很多。
3.创建数据集
数据集的准备分为三部分，分别是：
1.导入数据
2.数据预处理
3.打包
1 制作数据集
形式各不相同，如coco数据集和pasical voc数据集，因此，这部分需要自定义。目前我遇到的有两种办法：
1.重载torch.untils.data.DataSet类，这也是最常用的。
2.利用torchvision.datasets.ImageFolder，这个对数据集的格式有固定的要求。
2 数据预处理
有很多办法对数据进行预处理。如果是自定义数据集，预处理在制作数据集中就已经完成。如果是利用ImageFolder，需要传入对应的参数
！！！预处理的函数必须是RGB形式，如果是opencv读取的图像需要进行通道的调整！！！
3 打包
这里用的就是torch.utils.data.DataLoader进行打包。
4.创建模型
这里就有很多了，图像分类模型，目标检测模型，图像分割模型等…所有的模型都涉及到了四个问题，搭建模型，模型权重，输入，输出。
5.创建优化器
优化器有很多种类，都包含在torch.optim中。共同点是必须使用上面模型model的参数。因此，定义一个优化器就有如下步骤：
1.寻找需要更新的参数(有可能需要冻结不需要的参数的步骤)
2.创建优化器，不同的优化器有不同的参数，详细见详解。
常用优化器可见一个大佬总结的https://zhuanlan.zhihu.com/p/527908842
[6.学习率调整策略]
具体总结吧！
[7.精度化训练]
混合精度化训练的目的是加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平。
8.定义损失函数
这部分由几个问题，定义，输入和输出。
1.定义
定义分为两种
一种是pytorch已经实现好的定义时模型的参数不可缺少，其余的按照损失函数原理有不同的变化，到单个损失函数的时候进行详细的总结。
另一种是自定义损失计算，这种对输入的要求比较低，也就意味着对自定义数据集标签的返回格式要求比较低。
2.输入
这部分因为损失函数不同，也会有不同。可以确定的是这里决定了你的数据集真实标签的返回格式。
输出
一般是一个数，反应了模型参数的好坏。
损失函数有很多类型，遇到一个总结一个！
9.训练脚本
以一个例子，总结步骤
epochs = 100 best_acc = 0.0 for epoch in range(epochs): # train：开启dropout net.train() running_loss = 0.0 train_bar = tqdm(train_loader, file=sys.stdout) # 分部执行，每一步一个batch for step, data in enumerate(train_bar): # 获取图像和标签 image, label = data # 清楚优化器过往梯度 optimizer.zero_grad() # 执行模型，返回结果 outputs = net(image.to(device)) # 计算损失 loss = loss_function(outputs, label.to(device)) # 反向传播 loss.backward() # 更新参数 optimizer.step() running_loss += loss.item() train_bar.desc = "train epoch[{}/{}] loss:{:.3f}".format(epoch + 1, epochs, loss) # eval: 关闭dropout net.eval() acc = 0.0 val_num = len(validate_dataset) # 关闭梯度的计算 with torch.no_grad(): val_bar = tqdm(validate_loader, file=sys.stdout) for step, data in enumerate(validate_loader): image, label = data outputs = net(image.to(device)) # 获取概率中最高的结果作为预测 predict_y = torch.max(outputs, dim=1)[1] # 计算评价指标，用来判断参数是否为历史最好的，如果是保存 acc += torch.eq(predict_y, label.to(device)).sum().item() val_accurate = acc / val_num print('[epoch %d] train_loss: %.3f val_accuracy: %.3f' % (epoch + 1, running_loss, val_accurate)) if val_accurate > best_acc: best_acc = val_accurate torch.save(net.state_dict(), "./Alex.pth") if best_acc >= 0.9: break print(f"Finished train, total time is {end_time-start_time}")
代码是学着大佬写的，https://blog.csdn.net/qq_37541097?type=blog
学习有限，可能出现错误，如果遇到与现在总结有出入的一定要再来修改！！！
