PaddleClas高效实现口红检测&识别-阿里云开发者社区

暑假收集了口红53分类的数据集，但是由于数据量不大，效果不好……

听说PaddleClas套件有一个神奇的工具可以实现检测和识别

这就去看看，尝试一下，然后暴力解析——『抽丝剥茧』

项目地址：https://aistudio.baidu.com/aistudio/projectdetail/2363428

数据说明

数据来源自网络，收集人为三岁，目录结构为

rouge----------------
|----口红牌子
|    |-----种类+类别
|-----Gucci
|    |----hh05
|    |----hw03
…………………………

查看Paddle版本

import paddle
print(paddle.__version__)

2.1.2

安装PaddleClas

# !git clone https://github.com/PaddlePaddle/PaddleClas.git
# !git clone https://gitee.com/PaddlePaddle/PaddleClas.git
# %cd ./PaddleClas/
# !pip install --upgrade pip
# !pip3 install --upgrade -r requirements.txt -i https://mirror.baidu.com/pypi/simple
# %cd ./deploy

/home/aistudio/PaddleClas
/home/aistudio/PaddleClas/deploy

下载通用场景检测模型和识别模型

下载的位置为：PaddleClas/deploy

# !mkdir models
# %cd ./models
# !wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/ppyolov2_r50vd_dcn_mainbody_v1.0_infer.tar && tar -xf ppyolov2_r50vd_dcn_mainbody_v1.0_infer.tar
# !wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/product_ResNet50_vd_aliproduct_v1.0_infer.tar && tar -xf product_ResNet50_vd_aliproduct_v1.0_infer.tar
# %cd ../
# !wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/recognition_demo_data_v1.0.tar && tar -xf recognition_demo_data_v1.0.tar

解压文件

将文件解压至PaddleClas/deploy/recognition_demo_data_v1.0/gallery_product

!unzip  -d ./recognition_demo_data_v1.0/gallery_product /home/aistudio/data/data103228/rouge.zip

测试Gucci口红是否存在

对原始数据进行测试，查看对没有数据的展示效果。

这里修改了配置文件PaddleClas/deploy/configs/inference_product.yaml中用于测试的图片路径

下面的!python python/predict_system.py -c configs/inference_product.yaml默认为GPU模式

若是CPU需要添加-o Global.use_gpu=False或者修改配置文件中的use_gpu改成False

!python python/predict_system.py -c configs/inference_product.yaml

最后的结果为空

口红识别训练

数据处理

路径 \t 标签 \n的顺序

例如：

gallery/anmuxi/001.jpg  安慕希酸奶
gallery/anmuxi/002.jpg  安慕希酸奶
gallery/anmuxi/003.jpg  安慕希酸奶
gallery/anmuxi/004.jpg  安慕希酸奶
gallery/anmuxi/005.jpg  安慕希酸奶
gallery/anmuxi/006.jpg  安慕希酸奶

每一行的文本中，第一个字段表示图像的相对路径，第二个字段表示图像对应的标签信息，中间用tab键分隔开

import os
# import 
data_path = './recognition_demo_data_v1.0/gallery_product/rouge/'  # 设置初始文件地址
character_folders = os.listdir(data_path)  # 查看地址下文件夹
namelist = './recognition_demo_data_v1.0/gallery_product/rouge/name.txt'  # 文件地址
lablelist = {}
with open(namelist)as f:
    '''
    读取文件后处理成字典
    '''
    while True:
        line = f.readline().strip().split('\t')
        if line[0] == '':
            break
        if line[0] == '\ufeff0':
            lablelist[0] = line[1]
        else:
            lablelist[eval(line[0])] = line[1]
    print(lablelist)
if(os.path.exists('./recognition_demo_data_v1.0/gallery_product/data_file_update.txt')):  # 判断有误文件
    os.remove('./recognition_demo_data_v1.0/gallery_product/data_file_update.txt')  # 删除文件
# count = 0
train_list = []
train_count = {}
for character_folder in character_folders:  # 循环列表
    if character_folder not in 'name.txt':
        new_character_folders = os.listdir(data_path+character_folder)  # 生成地址
        for new_character_folder in new_character_folders:
            photo_name = os.listdir(os.path.join(data_path,character_folder,new_character_folder))  # 获得3级目录
            for photo_names in photo_name:
                name_path = os.path.join(character_folder,new_character_folder,photo_names)
                path_list ='rouge/' + name_path + '\t' + lablelist[int(new_character_folder[-2:])] + '\n'  # 生成图片地址及标签
                train_list.append(path_list)  # 添加到列表
print(f'共有数据{len(train_list)}张')
        # train_ = os.listdir(os.path.join(data_path,character_folder))
        # train_count[character_folder] = len(train_)
print(train_list[0])
count = len(train_list)
for data in train_list:
    with open('./recognition_demo_data_v1.0/gallery_product/data_file_update.txt', 'a')as f:
        f.write(data)
print("数据写入完毕！")

{0: '古驰倾色柔纱润唇膏', 1: '古驰倾色丝润唇膏', 2: '古驰倾色琉光唇膏', 3: '古驰倾色华缎唇膏', 4: '古驰倾色绒雾唇膏', 5: '古驰倾色星辉唇膏', 6: '爱马仕唇妆系列缎光唇膏', 7: '阿玛尼红管臻致丝传奇绒哑光唇釉', 8: '阿玛尼红黑管哑光唇膏', 9: '阿玛尼小胖丁持色凝彩哑光染唇液', 10: '阿玛尼5G黑管', 11: '阿玛尼黑漆光迷情唇釉', 12: '迪奥烈艳蓝金唇膏', 13: 'Dior红管花芯唇膏', 14: 'Dior迪奥魅惑釉唇膏', 15: '烈艳蓝金锁色唇釉', 16: '圣罗兰纯口红', 17: '圣罗兰细管纯口红（小金条）', 18: '圣罗兰莹亮纯魅唇膏', 19: '圣罗兰细管纯口红（小黑条）', 20: '娇兰臻彩宝石唇膏', 21: '娇兰亲亲唇膏', 22: '娇兰唇蜜', 23: 'CHILI 小辣椒', 24: '魅可清新漆光唇釉', 25: '完美日记小细跟口红', 26: '完美日记唇彩', 27: '完美日记口红', 28: '兰蔻唇釉', 29: '兰蔻唇膏', 30: '娇韵诗丰盈唇膏', 31: '香奈儿可可小姐唇膏', 32: 'CL路铂廷女王权杖（萝卜丁口红）', 33: 'CL路铂廷女王权杖黑管（萝卜丁口红）', 34: '纪梵希小羊皮', 35: '纪梵希羊皮唇釉', 36: '纪梵希禁忌之吻星云唇膏', 37: '3CE细管唇膏', 38: '3CE哑光口红', 39: '3CE唇泥', 40: '3CE三熹玉云朵唇釉', 41: 'UNNY唇泥', 42: 'UNNY雾面雪雾花园唇釉', 43: '植村秀小黑方唇膏口红', 44: '植村秀无色限方管漆光唇釉口红', 45: 'TOM FORD唇膏', 46: '雅诗兰黛口红金管', 47: '橘朵哑光唇釉', 48: '橘朵小花管唇膏', 49: '稚优泉口红', 50: '稚优泉无惧幻想绒雾唇釉', 51: '稚优泉琉光之镜水光唇釉', 52: '稚优泉 绒情迷雾哑光唇釉'}
共有数据784张
rouge/Armani/cy07/12.jpg  阿玛尼红管臻致丝传奇绒哑光唇釉
数据写入完毕！

建立新的索引库

构建index索引，加速识别后的检索过程。

最终新的索引信息保存在文件夹./recognition_demo_data_v1.0/gallery_product/index_update中。

!python python/build_gallery.py -c configs/build_product.yaml -o \
                            IndexProcess.data_file="./recognition_demo_data_v1.0/gallery_product/data_file_update.txt" -o \
                            IndexProcess.index_path="./recognition_demo_data_v1.0/gallery_product/index_update"

初步测试（训练数据测试）

这里采用了之前的训练数据进行先期测试

!python python/predict_system.py -c configs/inference_product.yaml -o \
                        Global.infer_imgs="./recognition_demo_data_v1.0/gallery_product/rouge/YSL/xjt17/11.jpg" -o \
                        IndexProcess.index_path="./recognition_demo_data_v1.0/gallery_product/index_update"

from PIL import Image
Image.open('./recognition_demo_data_v1.0/gallery_product/rouge/YSL/xjt17/11.jpg')

训练数据效果查询

类别17 内容：圣罗兰细管纯口红（小金条）

外部数据测试

使用了网络图片（非数据集）进行测试

!python python/predict_system.py -c configs/inference_product.yaml -o\
                Global.infer_imgs="/home/aistudio/YSL.png" -o\
                IndexProcess.index_path="./recognition_demo_data_v1.0/gallery_product/index_update"

from PIL import Image
Image.open('/home/aistudio/YSL.png')

测试结果1

应该没有什么大的问题（我也不知道是什么细分的但是圣罗兰没有问题）

!python python/predict_system.py -c configs/inference_product.yaml -o\
                Global.infer_imgs="/home/aistudio/Dior.png" -o\
                IndexProcess.index_path="./recognition_demo_data_v1.0/gallery_product/index_update"

Inference: 21.724224090576172 ms per batch image
[{'bbox': [0, 0, 700, 700], 'rec_docs': '迪奥烈艳蓝金唇膏', 'rec_scores': 0.6667188405990601}]

Image.open('/home/aistudio/Dior.png')

测试结果2

Dior没有问题！在原始数据中属于第12类

基于文件夹的批量识别

!python python/predict_system.py -c configs/inference_product.yaml -o\
                Global.infer_imgs="/home/aistudio/batch_map" -o\
 -o\
                Global.infer_imgs="/home/aistudio/batch_map" -o\
                IndexProcess.index_path="./recognition_demo_data_v1.0/gallery_product/index_update"

Inference: 21.574020385742188 ms per batch image
[]
Inference: 19.788503646850586 ms per batch image
[]
Inference: 19.628524780273438 ms per batch image
[{'bbox': [0, 0, 459, 603], 'rec_docs': 'TOM FORD唇膏', 'rec_scores': 0.5707532167434692}, {'bbox': [261, 228, 346, 350], 'rec_docs': '圣罗兰纯口红', 'rec_scores': 0.566393256187439}]
Inference: 19.90532875061035 ms per batch image
[{'bbox': [238, 150, 350, 307], 'rec_docs': '3CE哑光口红', 'rec_scores': 0.5311368703842163}]
Inference: 19.890308380126953 ms per batch image
[{'bbox': [0, 0, 523, 589], 'rec_docs': '圣罗兰莹亮纯魅唇膏', 'rec_scores': 0.5979276299476624}]
Inference: 19.647836685180664 ms per batch image
[{'bbox': [0, 0, 570, 470], 'rec_docs': 'Dior迪奥魅惑釉唇膏', 'rec_scores': 0.6497770547866821}]

批量识别结果说明

batch_map中前面的英文为牌子，后面的数字为上面对应的类型。

经过测试：只有两支M.A.C测试失败（其中Unny是原始数据中不存在所以无法识别）

经过对原始数据的查看发现M.A.C原始数据有点小问题

建议该方向的数据精度要高效果会更加的好！

总结

通过PaddleClas完成了少量样本的检测和识别，少样本问题是分类等的一个巨大困扰。

通过对Clas套件的使用解决了困扰。

使用中发现对数据集的精度要求较高。所以数据可以少但是精度要高！

大家好！这里是三岁！

让我们下次再见吧~~~

今天三岁口红分类的任务终于结束了！

嘤嘤嘤~~~

PaddleClas高效实现口红检测&识别