tensorflow object detection API训练公开数据集Oxford-IIIT Pets Dataset

简介:

为了避免不必要的麻烦,先说一下我的系统版本

Python 3.6 tensorflow 1.10 windows 7

object detection API安装

object detection API 安装参见官方的github: https://github.com/tensorflow/models/tree/master/research/object_detection

这里需要特别强调一下,一定要检查一下,下面的python的包都安装了,方法很简单,全部执行一遍

7863eed1899b85c3c17c0c3b0389a415f2527211

coco API安装

windows下面不需要--user选项,Oxford-IIIT Pet 数据集使用coco metrix, 所以下面必须执行这个命令行:

 
  1. pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI

在windows下面遇到utf-8编码错误

dcf3e1fa8fe9a5cca0bb513f52107c58899db86e

如下修正:

7f8d93268fdb75d7d6ff5efa85fc40f544f87073

C:\Program Files\Python\Python36\Lib\site-packages\pip\compat\_init_.py

79行改成gbk, utf-8替换为gbk, 不一定是是79行。再次执行即可成功安装

创建训练数据记录tfrecord

下载好Oxford-IIIT Pets Dataset数据集,解压缩到这里

b3277e2f8b8f6ad1e22b2fddd7bed5657d9422c4

然后执行下面的命令行:

43719b4752d98bb509719f568d96e691dd28466f

训练数据成功创建在指定目录:先切换到指定目录,完整的命令行执行

 
  1. D:\tensorflow\models\research>python objectdetection/datasettools/createpettfrecord.py --labelmappath=objectdetection/data/petlabelmap.pbtxt

  2. --datadir=D:/petdata --output-dir=D:\tensorflow\mytrain\data

  3. 还不会看这里:

  4. https://github.com/tensorflow/models/blob/master/research/objectdetection/g3doc/preparing_inputs.md

迁移学习

这步成功以后,就可以开始执行真正的训练啦,等等,别着急,我们是基于预训练模型的迁移学习,所以还有几件事情必须搞定,

下载预训练的tensorflow模型,我这里下载的是

126fd72ef04cb2670e2e4d89d7f0eef6a537cd62

http://download.tensorflow.org/models/objectdetection/ssdmobilenetv1coco201801_28.tar.gz

解压缩到指定目录,我的完整目录结构如下:

fd4dfd8ba3c30d455abe89638c340da5bbb8896b

其实有+加号的表示目录文件夹, - 表示文件

labelmap file来自 D:\tensorflow\models\research\objectdetection\data\petlabelmap.pbtxt pipeline config file来自 D:\tensorflow\models\research\objectdetection\samples\configs\ssdmobilenetv1pets.config

直接copy过来,然后打开

87bc968ff559a58c8efc1538d4e2890707ae2d44

开始修改,把所有【PATH_TO_BE_CONFIGURED】都改到正确路径上来:

ed8489a4ad38cfc3c5dc11a532eab29fa94ee5dc

保存好啦,然后直接执行训练的命令行:

d2d8054d111f2e2da7231426f91eacdeff21c3ca

各个参数选项解释如下:

 


--pipelineconfigpath

训练时候配置目录,所有关于训练各种输入路径、参数模型、参数网络配置,都在这个里面。

--modeldir

训练时候会写文件的目录,训练完成输出的模型保存目录

--numtrainsteps

训练多少个steps

--numeval_steps

多少个eval, 基本上两者要相差10倍以上 steps : eval

--alsologtostderr

表示日志信息

如果遇到这个错误

TypeError: can't pickle dictvalues objects

这样修改,打开model_lib.py

D:\tensorflow\models\research\objectdetection

813461ad57615496032b17390360b6ea5c461a41

继续训练就会很OK

启动tensorboard查看训练过程: CPU 太慢了,半天走一个step

4a8d26ce626d56c935f970b1018c0f606b452466


原文发布时间为:2018-08-27

本文作者:gloomyfish

本文来自云栖社区合作伙伴“OpenCV学堂”,了解相关信息可以关注“OpenCV学堂”。

相关文章
|
2月前
|
并行计算 Shell TensorFlow
Tensorflow-GPU训练MTCNN出现错误-Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
在使用TensorFlow-GPU训练MTCNN时,如果遇到“Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED”错误,通常是由于TensorFlow、CUDA和cuDNN版本不兼容或显存分配问题导致的,可以通过安装匹配的版本或在代码中设置动态显存分配来解决。
50 1
Tensorflow-GPU训练MTCNN出现错误-Could not create cudnn handle: CUDNN_STATUS_NOT_INITIALIZED
|
2月前
|
数据采集 TensorFlow 算法框架/工具
【大作业-03】手把手教你用tensorflow2.3训练自己的分类数据集
本教程详细介绍了如何使用TensorFlow 2.3训练自定义图像分类数据集,涵盖数据集收集、整理、划分及模型训练与测试全过程。提供完整代码示例及图形界面应用开发指导,适合初学者快速上手。[教程链接](https://www.bilibili.com/video/BV1rX4y1A7N8/),配套视频更易理解。
44 0
【大作业-03】手把手教你用tensorflow2.3训练自己的分类数据集
|
4月前
|
机器学习/深度学习 API 算法框架/工具
【Tensorflow+keras】Keras API三种搭建神经网络的方式及以mnist举例实现
使用Keras API构建神经网络的三种方法:使用Sequential模型、使用函数式API以及通过继承Model类来自定义模型,并提供了基于MNIST数据集的示例代码。
59 12
|
4月前
|
UED 开发工具 iOS开发
Uno Platform大揭秘:如何在你的跨平台应用中,巧妙融入第三方库与服务,一键解锁无限可能,让应用功能飙升,用户体验爆棚!
【8月更文挑战第31天】Uno Platform 让开发者能用同一代码库打造 Windows、iOS、Android、macOS 甚至 Web 的多彩应用。本文介绍如何在 Uno Platform 中集成第三方库和服务,如 Mapbox 或 Google Maps 的 .NET SDK,以增强应用功能并提升用户体验。通过 NuGet 安装所需库,并在 XAML 页面中添加相应控件,即可实现地图等功能。尽管 Uno 平台减少了平台差异,但仍需关注版本兼容性和性能问题,确保应用在多平台上表现一致。掌握正确方法,让跨平台应用更出色。
56 0
|
4月前
|
UED 存储 数据管理
深度解析 Uno Platform 离线状态处理技巧:从网络检测到本地存储同步,全方位提升跨平台应用在无网环境下的用户体验与数据管理策略
【8月更文挑战第31天】处理离线状态下的用户体验是现代应用开发的关键。本文通过在线笔记应用案例,介绍如何使用 Uno Platform 优雅地应对离线状态。首先,利用 `NetworkInformation` 类检测网络状态;其次,使用 SQLite 实现离线存储;然后,在网络恢复时同步数据;最后,通过 UI 反馈提升用户体验。
99 0
|
4月前
|
安全 Apache 数据安全/隐私保护
你的Wicket应用安全吗?揭秘在Apache Wicket中实现坚不可摧的安全认证策略
【8月更文挑战第31天】在当前的网络环境中,安全性是任何应用程序的关键考量。Apache Wicket 是一个强大的 Java Web 框架,提供了丰富的工具和组件,帮助开发者构建安全的 Web 应用程序。本文介绍了如何在 Wicket 中实现安全认证,
47 0
|
4月前
|
机器学习/深度学习 数据采集 TensorFlow
从零到精通:TensorFlow与卷积神经网络(CNN)助你成为图像识别高手的终极指南——深入浅出教你搭建首个猫狗分类器,附带实战代码与训练技巧揭秘
【8月更文挑战第31天】本文通过杂文形式介绍了如何利用 TensorFlow 和卷积神经网络(CNN)构建图像识别系统,详细演示了从数据准备、模型构建到训练与评估的全过程。通过具体示例代码,展示了使用 Keras API 训练猫狗分类器的步骤,旨在帮助读者掌握图像识别的核心技术。此外,还探讨了图像识别在物体检测、语义分割等领域的广泛应用前景。
31 0
|
4月前
|
机器学习/深度学习 TensorFlow 数据处理
分布式训练在TensorFlow中的全面应用指南:掌握多机多卡配置与实践技巧,让大规模数据集训练变得轻而易举,大幅提升模型训练效率与性能
【8月更文挑战第31天】本文详细介绍了如何在Tensorflow中实现多机多卡的分布式训练,涵盖环境配置、模型定义、数据处理及训练执行等关键环节。通过具体示例代码,展示了使用`MultiWorkerMirroredStrategy`进行分布式训练的过程,帮助读者更好地应对大规模数据集与复杂模型带来的挑战,提升训练效率。
94 0
|
4月前
|
API 算法框架/工具
【Tensorflow+keras】使用keras API保存模型权重、plot画loss损失函数、保存训练loss值
使用keras API保存模型权重、plot画loss损失函数、保存训练loss值
33 0
|
16天前
|
JSON API 数据格式
淘宝 / 天猫官方商品 / 订单订单 API 接口丨商品上传接口对接步骤
要对接淘宝/天猫官方商品或订单API,需先注册淘宝开放平台账号,创建应用获取App Key和App Secret。之后,详细阅读API文档,了解接口功能及权限要求,编写认证、构建请求、发送请求和处理响应的代码。最后,在沙箱环境中测试与调试,确保API调用的正确性和稳定性。