如何在Windows系统上使用Object Detection API训练自己的数据?

简介: 之前写了一篇如何在windows系统上安装Tensorflow Object Detection API?(点击跳转)然后就想着把数据集换成自己的数据集进行训练得到自己的目标检测模型。动手之前先学习了一波别人是如何实现的,看了大多数教程都有一个小问题:用VOC2012数据集进行训练当做用自己的数据集。然而,初心想看的是自己的数据集啊!于是就自己来撸一篇教程,方便自己也给别人一些参考吧~

前言

之前写了一篇如何在windows系统上安装Tensorflow Object Detection API?(点击跳转)

然后就想着把数据集换成自己的数据集进行训练得到自己的目标检测模型。动手之前先学习了一波别人是如何实现的,看了大多数教程都有一个小问题:用VOC2012数据集进行训练当做用自己的数据集。

然而,初心想看的是自己的数据集啊!于是就自己来撸一篇教程,方便自己也给别人一些参考吧~

目录

基于自己数据集进行目标检测训练的整体步骤如下:

  • 数据标注,制作VOC格式的数据集
  • 将数据集制作成tfrecord格式
  • 下载预使用的目标检测模型
  • 配置文件和模型
  • 模型训练

这里放一下小詹这个项目的整体截图,方便后边文件的对号入座。


81.jpg


数据标注,制作VOC格式的数据集

数据集当然是第一步,在收集好数据后需要进行数据的标注,考虑到VOC风格,这里推荐使用LabelImg工具进行标注。

92.jpg


至于工具具体怎么用,自己摸索下就好,小詹已经把关键点地方框选出来啦。(Tip: Ctrl+R选择标注文件存放路径)

将数据集制作成tfrecord格式

这一部需要将手动标注的xml文件进行处理,得到标注信息csv文件,之后和图像数据一起制作成tfrecord格式的数据,用于网络训练。

xml转换为csv文件

这一步需要对xml文件进行解析,提取出标注信息存入csv文件,这里直接把小詹的脚步文件(Xml2Csv.py)分享如下,当然文件路径你得换成自己的!

# 将xml文件读取关键信息转化为csv文件
import os
import glob
import pandas as pd
import xml.etree.ElementTree as ET
def xml_to_csv(path):
    xml_list = []
    for xml_file in glob.glob(path + '/*.xml'):
        tree = ET.parse(xml_file)
        root = tree.getroot()
        for member in root.findall('object'):
            value = (root.find('filename').text,
                     int(root.find('size')[0].text),
                     int(root.find('size')[1].text),
                     member[0].text,
                     int(member[4][0].text),
                     int(member[4][1].text),
                     int(member[4][2].text),
                     int(member[4][3].text)
                     )
            xml_list.append(value)
    column_name = ['filename', 'width', 'height', 'class', 'xmin', 'ymin', 'xmax', 'ymax']
    xml_df = pd.DataFrame(xml_list, columns=column_name)
    return xml_df
def main():
    image_path = r'E:\Jan_Project\Experiment_1\dataset\test_xml'
    xml_df = xml_to_csv(image_path)
    xml_df.to_csv(r'E:\Jan_Project\Experiment_1\dataset\cancer_test_labels.csv', index=None)
    print('Successfully converted xml to csv.')
if __name__ == '__main__':
    main()


生成tfrecord数据文件

之后在对应文件路径处就有了csv文件,再利用如下脚步自动生成tfrecord。(这是github上生成文件的修改版)

# 将CSV文件和图像数据整合为TFRecords
"""
name: generate_tfrecord.py
Usage:
  # From tensorflow/models/
  # Create train data:
  python generate_tfrecord.py --csv_input=data/train_labels.csv  --output_path=train.record
  # Create test data:
  python generate_tfrecord.py --csv_input=data/test_labels.csv  --output_path=test.record
"""
from __future__ import division
from __future__ import print_function
from __future__ import absolute_import
import os
import io
import pandas as pd
import tensorflow as tf
from PIL import Image
from object_detection.utils import dataset_util
from collections import namedtuple, OrderedDict
flags = tf.app.flags
flags.DEFINE_string('csv_input', '', 'Path to the CSV input')
flags.DEFINE_string('output_path', '', 'Path to output TFRecord')
FLAGS = flags.FLAGS
# TO-DO replace this with label map
def class_text_to_int(row_label):
    if row_label == 'yichang':
        return 1
    else:
        None
def split(df, group):
    data = namedtuple('data', ['filename', 'object'])
    gb = df.groupby(group)
    return [data(filename, gb.get_group(x)) for filename, x in zip(gb.groups.keys(), gb.groups)]
def create_tf_example(group, path):
    with tf.gfile.GFile(os.path.join(path, '{}'.format(group.filename)), 'rb') as fid:
        encoded_jpg = fid.read()
    encoded_jpg_io = io.BytesIO(encoded_jpg)
    image = Image.open(encoded_jpg_io)
    width, height = image.size
    filename = group.filename.encode('utf8')
    image_format = b'jpg'
    xmins = []
    xmaxs = []
    ymins = []
    ymaxs = []
    classes_text = []
    classes = []
    for index, row in group.object.iterrows():
        xmins.append(row['xmin'] / width)
        xmaxs.append(row['xmax'] / width)
        ymins.append(row['ymin'] / height)
        ymaxs.append(row['ymax'] / height)
        classes_text.append(row['class'].encode('utf8'))
        classes.append(class_text_to_int(row['class']))
    tf_example = tf.train.Example(features=tf.train.Features(feature={
        'image/height': dataset_util.int64_feature(height),
        'image/width': dataset_util.int64_feature(width),
        'image/filename': dataset_util.bytes_feature(filename),
        'image/source_id': dataset_util.bytes_feature(filename),
        'image/encoded': dataset_util.bytes_feature(encoded_jpg),
        'image/format': dataset_util.bytes_feature(image_format),
        'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
        'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
        'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
        'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
        'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
        'image/object/class/label': dataset_util.int64_list_feature(classes),
    }))
    return tf_example
def main(csv_input, output_path, image_path):
    writer = tf.python_io.TFRecordWriter(output_path)
    path = image_path
    examples = pd.read_csv(csv_input)
    grouped = split(examples, 'filename')
    for group in grouped:
        tf_example = create_tf_example(group, path)
        writer.write(tf_example.SerializeToString())
    writer.close()
    print('Successfully created the TFRecords: {}'.format(output_path))
if __name__ == '__main__':
#     csv_input = r'E:\Jan_Project\Experiment_1\dataset\cancer_train_labels.csv'
#     output_path = r'E:\Jan_Project\Experiment_1\dataset\train.tfrecord'
#     image_path = r'E:\Jan_Project\Experiment_1\dataset\train_img'
#     main(csv_input, output_path, image_path)
    csv_input = r'E:\Jan_Project\Experiment_1\dataset\cancer_test_labels.csv'
    output_path = r'E:\Jan_Project\Experiment_1\dataset\test.tfrecord'
    image_path = r'E:\Jan_Project\Experiment_1\dataset\test_img'
    main(csv_input, output_path, image_path)


利用上述脚步后便得到了想要的数据格式,小詹这里如图所示:

93.jpg


下载预使用的目标检测模型

准备好训练数据后,选择模型进行训练,下载官方预训练模型【Github】

对于目标检测,可以考虑选择几种最常用的模型:

  • ssd_mobilenet_v1_coco
  • ssd_mobilenet_v2_coco
  • faster_rcnn_resnet50_coco
  • faster_rcnn_resnet101_coco

小詹选择的是上方链接中对应下图的那个,自己视情况而定即可。

94.jpg


下载后解压到对应文件夹中(见小詹放的第一张项目整体图)

配置文件和模型

建立label_map.pbtxt

这里需要针对自己数据集进行修改,格式如下:

item{

  id: 1

  name: 'object'

}

修改

进入tensorflow/models/research/object_detection/samples/config文件夹找到对应自己模型的config文件,针对自己的情况进行修改:

num_classes: 修改为你自己任务的类别数
batch size:2(GPU显存较小的,尽量设置成小数值)
fine_tune_checkpoint: "路径/model.ckpt" #指定“训练模型的检查点文件”
train_input_reader: {
  tf_record_input_reader {
    input_path: "路径/train.tfrecord"
  }
  label_map_path: "路径/label_map.pbtxt"
}
eval_input_reader: {
  tf_record_input_reader {
    input_path: "路径/test.tfrecord"
  }
  label_map_path: "路径/label_map.pbtxt"
  shuffle: false
  num_readers: 1

模型训练

关于训练,要注意batch size大小和网络模型复杂程度,注意显存是否够大?显存不够就OOM(out of memory)了。

训练模型只需要运行object_detection/legacy路径下的train.py程序即可。(当然object_detection API安装是大前提,具体看上一篇文章!)

本地电脑:

python object_detection//legacy//train.py --logtostderr --train_dir=E://Jan_Project//Experiment_1//model --pipeline_config_path=E://Jan_Project//Experiment_1//training//faster_rcnn_inception_v2_coco.config

如果配置不够,可以云服务器上跑。以下是训练过程截图。

95.jpg


训练后还可以导出模型,用于检测测试。

#From tensorflow/modles/research/object_detection/
python export_inference_graph.py 
--input_type image_tensor 
--pipeline_config_path 路径/***.config
--trained_checkpoint_prefix 路径/model.ckpt-numbers #选择最近的一个或确认收敛到最优的一个
--output_directory 路径/my_model/ #模型的输出路径

以上整理于2019-5-20,节日快乐!

目录
打赏
0
0
0
0
2
分享
相关文章
自学记录鸿蒙API 13:实现多目标识别Object Detection
多目标识别技术广泛应用于动物识别、智能相册分类和工业检测等领域。本文通过学习HarmonyOS的Object Detection API(API 13),详细介绍了如何实现一个多目标识别应用,涵盖从项目初始化、核心功能实现到用户界面设计的全过程。重点探讨了目标类别识别、边界框生成、高精度置信度等关键功能,并分享了性能优化与功能扩展的经验。最后,作者总结了学习心得,并展望了未来结合语音助手等创新应用的可能性。如果你对多目标识别感兴趣,不妨从基础功能开始,逐步实现自己的创意。
209 60
自学记录鸿蒙 API 13:骨骼点检测应用Core Vision Skeleton Detection
骨骼点检测技术能够从图片中识别出人体的关键骨骼点位置,如头部、肩部、手肘等,广泛应用于运动健身指导、游戏交互、医疗辅助、安全监控等领域。我决定深入学习HarmonyOS Next API 13中的Skeleton Detection API,并开发一个简单的骨骼点检测应用。通过理解API核心功能、项目初始化与配置、实现检测功能、构建用户界面,以及性能优化和功能扩展,逐步实现这一技术的应用。未来计划将其应用于健身指导和智能监控领域,探索与其他AI能力的结合,开发更智能的解决方案。如果你也对骨骼点检测感兴趣,不妨一起进步!
168 9
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
121 9
MASM32编程调用 API函数RtlIpv6AddressToString,windows 10 容易,Windows 7 折腾
MASM32编程调用 API函数RtlIpv6AddressToString,windows 10 容易,Windows 7 折腾
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
48 0
Uno Platform大揭秘:如何在你的跨平台应用中,巧妙融入第三方库与服务,一键解锁无限可能,让应用功能飙升,用户体验爆棚!
【8月更文挑战第31天】Uno Platform 让开发者能用同一代码库打造 Windows、iOS、Android、macOS 甚至 Web 的多彩应用。本文介绍如何在 Uno Platform 中集成第三方库和服务,如 Mapbox 或 Google Maps 的 .NET SDK,以增强应用功能并提升用户体验。通过 NuGet 安装所需库,并在 XAML 页面中添加相应控件,即可实现地图等功能。尽管 Uno 平台减少了平台差异,但仍需关注版本兼容性和性能问题,确保应用在多平台上表现一致。掌握正确方法,让跨平台应用更出色。
73 0
简化目标检测流程:深入探讨TensorFlow Object Detection API的高效性与易用性及其与传统方法的比较分析
【8月更文挑战第31天】TensorFlow Object Detection API 是一项强大的工具,集成多种先进算法,支持 SSD、Faster R-CNN 等模型架构,并提供预训练模型,简化目标检测的开发流程。用户只需准备数据集并按要求处理,选择预训练模型进行微调训练即可实现目标检测功能。与传统方法相比,该 API 极大地减少了工作量,提供了从数据预处理到结果评估的一站式解决方案,降低了目标检测的技术门槛,使初学者也能快速搭建高性能系统。未来,我们期待看到更多基于此 API 的创新应用。
44 0
【Azure API 管理】使用APIM进行XML内容读取时遇见的诡异错误 Expression evaluation failed. Object reference not set to an instance of an object.
【Azure API 管理】使用APIM进行XML内容读取时遇见的诡异错误 Expression evaluation failed. Object reference not set to an instance of an object.
|
7月前
|
JS【详解】Map (含Map 和 Object 的区别,Map 的常用 API,Map与Object 的性能对比,Map 的应用场景和不适合的使用场景)
JS【详解】Map (含Map 和 Object 的区别,Map 的常用 API,Map与Object 的性能对比,Map 的应用场景和不适合的使用场景)
180 0
Java基础-常用API-Object类
继承是面向对象编程的重要特性,允许从已有类派生新类。Java采用单继承机制,默认所有类继承自Object类。Object类提供了多个常用方法,如`clone()`用于复制对象,`equals()`判断对象是否相等,`hashCode()`计算哈希码,`toString()`返回对象的字符串表示,`wait()`、`notify()`和`notifyAll()`用于线程同步,`finalize()`在对象被垃圾回收时调用。掌握这些方法有助于更好地理解和使用Java中的对象行为。

热门文章

最新文章