《专业创新实践Ⅱ》大作业 LeNet在眼疾识别数据集iChallenge-PM上的应用（中）

启动训练：代码如下

1. # -*- coding: utf-8 -*-  
2. # LeNet 识别眼疾图片  
3. import os  
4. import random  
5. import paddle  
6. import numpy as np  
7.  
8. DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'  
9. DATADIR2 = '/home/aistudio/work/palm/PALM-Validation400'  
10. CSVFILE = '/home/aistudio/labels.csv'  
11.  
12. # 定义训练过程  
13. def train_pm(model, optimizer):  
14.    # 开启0号GPU训练  
15.    use_gpu = True  
16.    paddle.set_device('gpu:0') if use_gpu else paddle.set_device('cpu')  
17.  
18.    print('start training ... ')  
19.    model.train()  
20.    epoch_num = 5  
21.    # 定义数据读取器，训练数据读取器和验证数据读取器  
22.    train_loader = data_loader(DATADIR, batch_size=10, mode='train')  
23.    valid_loader = valid_data_loader(DATADIR2, CSVFILE)  
24.    for epoch in range(epoch_num):  
25.        for batch_id, data in enumerate(train_loader()):  
26.            x_data, y_data = data  
27.            img = paddle.to_tensor(x_data)  
28.            label = paddle.to_tensor(y_data)  
29.            # 运行模型前向计算，得到预测值  
30.            logits = model(img)  
31.            loss = F.binary_cross_entropy_with_logits(logits, label)  
32.            avg_loss = paddle.mean(loss)  
33.  
34.            if batch_id % 10 == 0:  
35.                print("epoch: {}, batch_id: {}, loss is: {}".format(epoch, batch_id, avg_loss.numpy()))  
36.            # 反向传播，更新权重，清除梯度  
37.            avg_loss.backward()  
38.            optimizer.step()  
39.            optimizer.clear_grad()  
40.  
41.        model.eval()  
42.        accuracies = []  
43.        losses = []  
44.        for batch_id, data in enumerate(valid_loader()):  
45.            x_data, y_data = data  
46.            img = paddle.to_tensor(x_data)  
47.            label = paddle.to_tensor(y_data)  
48.            # 运行模型前向计算，得到预测值  
49.            logits = model(img)  
50.            # 二分类，sigmoid计算后的结果以0.5为阈值分两个类别  
51.            # 计算sigmoid后的预测概率，进行loss计算  
52.            pred = F.sigmoid(logits)  
53.            loss = F.binary_cross_entropy_with_logits(logits, label)  
54.            # 计算预测概率小于0.5的类别  
55.            pred2 = pred * (-1.0) + 1.0  
56.            # 得到两个类别的预测概率，并沿第一个维度级联  
57.            pred = paddle.concat([pred2, pred], axis=1)  
58.            acc = paddle.metric.accuracy(pred, paddle.cast(label, dtype='int64'))  
59.  
60.            accuracies.append(acc.numpy())  
61.            losses.append(loss.numpy())  
62.        print("[validation] accuracy/loss: {}/{}".format(np.mean(accuracies), np.mean(losses)))  
63.        model.train()  
64.  
65.        paddle.save(model.state_dict(), 'palm.pdparams')  
66.        paddle.save(optimizer.state_dict(), 'palm.pdopt')  
67.  
68.  
69. # 定义评估过程  
70. def evaluation(model, params_file_path):  
71.  
72.    # 开启0号GPU预估  
73.    use_gpu = True  
74.    paddle.set_device('gpu:0') if use_gpu else paddle.set_device('cpu')  
75.  
76.    print('start evaluation .......')  
77.  
78.    #加载模型参数  
79.    model_state_dict = paddle.load(params_file_path)  
80.    model.load_dict(model_state_dict)  
81.  
82.    model.eval()  
83.    eval_loader = data_loader(DATADIR,  
84.                        batch_size=10, mode='eval')  
85.  
86.    acc_set = []  
87.    avg_loss_set = []  
88.    for batch_id, data in enumerate(eval_loader()):  
89.        x_data, y_data = data  
90.        img = paddle.to_tensor(x_data)  
91.        label = paddle.to_tensor(y_data)  
92.        y_data = y_data.astype(np.int64)  
93.        label_64 = paddle.to_tensor(y_data)  
94.        # 计算预测和精度  
95.        prediction, acc = model(img, label_64)  
96.        # 计算损失函数值  
97.        loss = F.binary_cross_entropy_with_logits(prediction, label)  
98.        avg_loss = paddle.mean(loss)  
99.        acc_set.append(float(acc.numpy()))  
100.        avg_loss_set.append(float(avg_loss.numpy()))  
101.    # 求平均精度  
102.    acc_val_mean = np.array(acc_set).mean()  
103.    avg_loss_val_mean = np.array(avg_loss_set).mean()  
104.  
105.    print('loss={}, acc={}'.format(avg_loss_val_mean, acc_val_mean))  
106. # -*- coding:utf-8 -*-  
107.  
108. # 导入需要的包  
109. import paddle  
110. import numpy as np  
111. from paddle.nn import Conv2D, MaxPool2D, Linear, Dropout  
112. import paddle.nn.functional as F  
113.  
114. # 定义 LeNet 网络结构  
115. class LeNet(paddle.nn.Layer):  
116.    def __init__(self, num_classes=1):  
117.        super(LeNet, self).__init__()  
118.  
119.        # 创建卷积和池化层块，每个卷积层使用Sigmoid激活函数，后面跟着一个2x2的池化  
120.        self.conv1 = Conv2D(in_channels=3, out_channels=6, kernel_size=5)  
121.        self.max_pool1 = MaxPool2D(kernel_size=2, stride=2)  
122.        self.conv2 = Conv2D(in_channels=6, out_channels=16, kernel_size=5)  
123.        self.max_pool2 = MaxPool2D(kernel_size=2, stride=2)  
124.        # 创建第3个卷积层  
125.        self.conv3 = Conv2D(in_channels=16, out_channels=120, kernel_size=4)  
126.        # 创建全连接层，第一个全连接层的输出神经元个数为64  
127.        self.fc1 = Linear(in_features=300000, out_features=64)  
128.        # 第二个全连接层输出神经元个数为分类标签的类别数  
129.        self.fc2 = Linear(in_features=64, out_features=num_classes)  
130.  
131.    # 网络的前向计算过程  
132.    def forward(self, x, label=None):  
133.        x = self.conv1(x)  
134.        x = F.sigmoid(x)  
135.        x = self.max_pool1(x)  
136.        x = self.conv2(x)  
137.        x = F.sigmoid(x)  
138.        x = self.max_pool2(x)  
139.        x = self.conv3(x)  
140.        x = F.sigmoid(x)  
141.        x = paddle.reshape(x, [x.shape[0], -1])  
142.        x = self.fc1(x)  
143.        x = F.sigmoid(x)  
144.        x = self.fc2(x)  
145.        if label is not None:  
146.            acc = paddle.metric.accuracy(input=x, label=label)  
147.            return x, acc  
148.        else:  
149.            return x  
150. # 创建模型  
151. model = LeNet(num_classes=1)  
152. # 启动训练过程  
153. opt = paddle.optimizer.Momentum(learning_rate=0.001, momentum=0.9, parameters=model.parameters())  
154. train_pm(model, optimizer=opt)  
155. evaluation(model, params_file_path="palm.pdparams")  

（5）参数调整：

文件报错：invalid literal for int() with base 10: ''

从网上找相关资料发现因为python不能直接将包含小数点的字符串转化为整数，而原始数据的格式经常是不一致的，故类型转化时造成ValueError异常。

解决方法：先将字符串转换为浮点数float，在将浮点数转化为整数int。

第一次改正：label = int(float(line[2]))

依旧报错：ValueError: could not convert string to float: ''

之后继续检阅资料发现原因：空字符串无法转成整型
解决办法：加入异常值抛出。若遇到ValueError错误，直接pass，否则执行else下面的程序。

修改后程序：

(6)除此之外就是一些文件地址的修改

以下是改正后的代码

1. DATADIR = '/Users/suncheng/PycharmProjects/测试/MNIST数据集/眼疾识别/PALM-Training400/PALM-Training400'  
2. # 文件名以N开头的是正常眼底图片，以P开头的是病变眼底图片  
3. file1 = '/Users/suncheng/PycharmProjects/测试/MNIST数据集/眼疾识别/PALM-Training400/PALM-Training400/N0012.jpg'  
4. file2 = '/Users/suncheng/PycharmProjects/测试/MNIST数据集/眼疾识别/PALM-Training400/PALM-Training400/P0095.jpg'  
5. DATADIR2 = '/Users/suncheng/PycharmProjects/测试/MNIST数据集/眼疾识别/PALM-Validation400'  
6. CSVFILE = '/Users/suncheng/PycharmProjects/测试/MNIST数据集/眼疾识别/PALM-Validation-GT/labels.csv'          
7.  
8. paddle.save(model.state_dict(), '眼疾识别.pdparams')  
9. paddle.save(optimizer.state_dict(), '眼疾识别.pdopt')  
10. evaluation(model, params_file_path="眼疾识别.pdparams")