机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

本文涉及的产品
图像搜索,7款服务类型 1个月
简介:

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

如果你觉得这是一篇简单介绍人工智能、机器学习和深度学习的文章,那就错啦。你可以在网上搜罗到一大堆相关话题的文章,而这篇文章也并不是讨论人工智能是否会奴役人类或抢走人们饭碗之类的话题,毕竟相关的各种推论和谣言已经满天飞了。

这只是一篇详细描述如何开始搭建一个机器学习系统,并让它可以识别所看到图像的文章。

作者Wolfgang Beyer目前现在正在学习人工智能和机器学习的内容。他认为最好的学习方式不是仅仅阅读各类材料,而是要真正地去动手搭建一个系统。这就是雷锋网翻译本文的目的,也是作者要向你介绍的。在这篇文章中Beyer将向你展示如何搭建一个系统,去完成一项简单的计算机视觉任务:识别图像内容。

Beyer强调,他并不是一个专家。“我正在学习,而且还有很多东西需要学习。我只是简单介绍我正在做的事情。如果这对你能有所帮助,或者你也觉得很有趣,就已经很好了。如果你发现了错误或有什么改进建议也请告诉我,你的回复对我也很重要。”

阅读本文前你并不需要具备机器学习的相关经验。示例代码是使用Python写的,如果你有Python的基础知识是最好的。但如果你只是掌握其他的编程语言,那也已经足够了。由于篇幅限制,本系列将分四篇文章发布,雷锋网编译,未经许可不得转载。

为什么让机器学会图像识别?

图像识别是开发和测试机器学习的一项重要任务,因为视觉可能是最重要的一项感知能力。虽然对于人类来说,它是与生俱来的。但它是怎么实现的?大脑是怎样将视网膜上的图像转化成我们对周围环境的心智模式的?我想没人能对此一清二楚。关键是,对我们来说这看起来如此简单——我们不需要有意识地去做这件事,而对于计算机来说却困难重重(事实上,对我们来说也并不是看上去那么简单。只是我们并没有意识到进行了多少工作。有超过一半的大脑区域直接或间接参与了视觉活动)。

在我们甚至都不知道自己怎么看到东西的情况下,怎么让计算机去做到这样的事情呢?这就是机器学习要研究的事情。我们采取的方法是让计算机自己去完成这样的过程,而不是手把手地一步步教会计算机如何解释图像并翻译成计算机程序。我们给计算机提供总体结构,让计算机从经验中学习,就像我们人类做的那样。

但是,在我们开始构想计算机视觉的整体方案之前,让我们把这个任务简化为一个容易掌握的小目标。

图像分类和CIFAR-10数据集

我们尝试解决一个尽可能小而简单的问题,另外也不要期望它能瞬间让我们成为机器学习大师。我们希望计算机能做的包括以下方面:当我们向计算机展示一幅图片(特定尺寸)时,它能够对图片进行分析并打上标签。他可以从固定数量的标签中进行选择,每一类的标签描述了一种图像的内容。我们的目标就是这个模型能够尽可能地挑选出正确的标签。这个任务被称作图像分类。

我们将使用标准的CIFAR-10数据集。CIFAR-10包含了60000幅图片。它有10个不同的分类,每类包含6000幅图片。每幅图片的规格是32x32像素。这么小尺寸的图片对我们人类来说有时很难进行正确的分类,但它却简化了计算机模型的任务,并降低了分析图片的计算负载。


机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

CIFAR-10数据集中10个分类中的随机图片。由于分辨率低,人类很难进行正确的标签。

我们将图片转化为一连串的数字输送给计算模型。每个像素由代表红色,绿色和蓝色的三个浮点数来表示。其结果就是32x32x3=3072个值。

除了CIFAR-10,还有很多其他的图像数据集可以用于计算机视觉的研究。之所以使用标准数据集,有两个目的:

第一,要收集这么多的图片是一项巨大的工作。你需要有大量的图片资源,并根据需要对他们进行分别标签。

第二,使用相同的数据集,可以让我们有目的地比较不同方法的优劣。

另外,使用标准数据集,可以相互比较,在竞赛中排出名次。最有名的比赛是Image-Net图像识别大赛,它需要对1000个不同的种类进行识别。2012年的胜者是来自多伦多大学(University of Toronto)的亚力克斯•克利则夫斯基(Alex Krizhevsky),伊利亚·苏特斯科娃(Ilya Sutskever)和杰夫·辛顿(Geoffrey Hinton)设计的算法(雷锋网注:可点击论文链接查看)。这个系统领跑整个比赛并且以巨大的优势获胜。

这次比赛对整个研究领域产生了巨大的冲击,因为这是第一次使用卷积神经网络的方法获得胜利。卷积神经网络是一种人工神经网络,它大致模拟了动物视觉的皮质行为。这一技术的应用已经有一段时间,但它的潜力还没被多数人认识到。2012 Image-Net竞赛后,这种情况出现了改变。人们突然对神经网络和深度学习(深度学习是使用多层神经网络的方法解决机器学习的问题)产生了巨大兴趣,而这次赛事也极大地推动了以后几年深度学习的快速发展。

监督学习

我们怎么使用图像数据集让计算机自己学习呢?即使计算机自己能够学习,我们也需要告诉它学习什么和怎样学习。所以,我们需要通过制定一个大致的流程让计算机能够对图像进行评估。

我们定义一个通用的数学模型,将输入图像转换为输出标签。这个模型的实际输出不仅仅依赖于图像本身,还依赖模型内建的参数。这些参数并不是由我们提供,而是由计算机通过学习获得。

这样一来,这个过程可以被理解为一个优化问题。我们初始定义一个模型并提供初始的参数值。然后再向模型输入图像数据集和已知的正确标签。这就是训练的过程。在这个阶段模型重复校验,训练数据,持续调整参数值。目标是找到合适的参数使模型输出尽可能多的正确结果。这种同时使用输入数据和正确结果的训练方法叫做监督学习。还有一种叫做非监督学习,这种学习中只使用了输入数据而没有标签,但在这篇文章中我们不做讨论。

当训练完成,模型参数被固定下来,并可以被用于图像集以外的图像分类。

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

在训练期间,模型的预测结果与真实值进行比较。这些信息被用于更新参数值。在测试过程中就不再有反馈,模型只是产生标签。

TensorFlow

TensorFlow是机器学习的开源软件库,它由Google在2015年发布并很快成为全世界的研究者和学习者中最流行的机器学习库之一。它在图像分类模型中承担重要作用。

接下来,我们就要开始学习如何用TensorFlow搭建一个合适的模型。

建立模型,一个Softmax分类器

Github支持这个模型的完整代码。在使用之前,你需要安装以下软件:

· Python(代码经过了Python2.7测试,Python3.3+也应该可以工作,安装链接)

·  TensorFlow(安装指导链接)

·  CIFAR-10数据集:下载Python版本的数据集

 从https://www.cs.toronto.edu/~kriz/cifar.html下载或者使用链接中的压缩文档。请把 cifar-10-batches-py解压到python源代码的目录下,这样图像的路径应该为/path-to-your-python-source-code-files/cifar-10-batches-py/。

 好了,现在我们可以开始了。让我们先来看看试验的主文件softmax.py,一行一行地来分析:

from __future__ import absolute_import

from __future__ import division

from __future__ import print_function


import numpy as np

import tensorflow as tf

import time

import data_helpers

根据TensorFlow代码规范,在所有TensorFlow Python文件中为了Python2和3的兼容性,都应该添加future语句。然后导入TensorFlow,numpy用于数值计算和时间模块。data_helper.py包括加载和准备数据集的函数。

beginTime = time.time()

 # Parameter definitions


batch_size = 100

learning_rate = 0.005

max_steps = 1000

 

# Prepare data

data_sets = data_helpers.load_data()

我们启动一个计时器测量运行时间和定义一些参数。稍后在实际使用它们时再进行讨论。然后加载CIFAR-10数据集。因为读取数据并不是我们要做的核心,我把这部分的函数单独放在data_helper.py文件中。它只是负责读取包含数据集的文件,并把数据放入一个方便我们操作的数据结构中。

需要提到的重要的一点是,load_data()是将60000幅图像分为两部分。大的一部分包含50000幅图像。这些数据集用于训练我们的模型。另外的10000幅图像被称作测试集。在训练结束之前,我们的模型将不会看到这些图像。直到模型中的参数不再变换,我们使用测试集作为模型输入来检验模型的性能。

将数据分为训练集和测试集非常重要。我们并不知道我们的模型在遇到训练数据集或测试数据集的时候是否有相同的表现。最糟的情况在于,模型记录下了它看过的所有图像。如果我们使用相同的训练集进行测试,模型通过查找存储下来的正确答案,可能表现得非常完美。但是如果使用它从未见过的图像则原形毕露。这在模型学习中有个专门的概念叫做过度拟合,就是说特定的训练数据可能掩盖一些更为通常的特征。在机器学习中避免过度拟合是一项重大的课题。关于过度拟合和为什么建议将数据分成2个或者3个数据集,可以参考Coursera上吴恩达(Andrew Ng)机器学习课程的节选视频

回到我们的代码,load_data()返回一个dictionary类型数据:

  • images_train:训练集转换为50000x3072(32像素x32像素x3个颜色通道)的数组

  • labels_train:训练集的50000个标签(每个数字从0到9代表图像训练集的10个分类)

  • images_test:测试集(10000x3072)

  • labels_test:测试集的10000个标签

  • classes:10个文本标签,将数字转换成文字(0代表“飞机”,1代表“车”,等等)

# Define input placeholders

images_placeholder = tf.placeholder(tf.float32, shape=[None, 3072])

labels_placeholder = tf.placeholder(tf.int64, shape=[None])

本文作者:晟炜

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
11天前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
143 55
|
2天前
|
机器学习/深度学习 监控 算法
机器学习在图像识别中的应用:解锁视觉世界的钥匙
机器学习在图像识别中的应用:解锁视觉世界的钥匙
154 95
|
1月前
|
机器学习/深度学习 传感器 自动驾驶
探索机器学习在图像识别中的创新应用
本文深入分析了机器学习技术在图像识别领域的最新进展,探讨了深度学习算法如何推动图像处理技术的突破。通过具体案例分析,揭示了机器学习模型在提高图像识别准确率、效率及应用场景拓展方面的潜力。文章旨在为读者提供一个全面的视角,了解当前机器学习在图像识别领域的创新应用和未来发展趋势。
|
21天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
112 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
84 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
1月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
93 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
27天前
|
机器学习/深度学习 人工智能 TensorFlow
探索深度学习与计算机视觉的融合:构建高效图像识别系统
探索深度学习与计算机视觉的融合:构建高效图像识别系统
40 0
|
1月前
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
93 0
|
1月前
|
机器学习/深度学习 数据采集 算法
利用深度学习优化图像识别系统的性能
利用深度学习优化图像识别系统的性能
43 0
|
7月前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
253 14