机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

本文涉及的产品
图像搜索,7款服务类型 1个月
简介:

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

如果你觉得这是一篇简单介绍人工智能、机器学习和深度学习的文章,那就错啦。你可以在网上搜罗到一大堆相关话题的文章,而这篇文章也并不是讨论人工智能是否会奴役人类或抢走人们饭碗之类的话题,毕竟相关的各种推论和谣言已经满天飞了。

这只是一篇详细描述如何开始搭建一个机器学习系统,并让它可以识别所看到图像的文章。

作者Wolfgang Beyer目前现在正在学习人工智能和机器学习的内容。他认为最好的学习方式不是仅仅阅读各类材料,而是要真正地去动手搭建一个系统。这就是雷锋网翻译本文的目的,也是作者要向你介绍的。在这篇文章中Beyer将向你展示如何搭建一个系统,去完成一项简单的计算机视觉任务:识别图像内容。

Beyer强调,他并不是一个专家。“我正在学习,而且还有很多东西需要学习。我只是简单介绍我正在做的事情。如果这对你能有所帮助,或者你也觉得很有趣,就已经很好了。如果你发现了错误或有什么改进建议也请告诉我,你的回复对我也很重要。”

阅读本文前你并不需要具备机器学习的相关经验。示例代码是使用Python写的,如果你有Python的基础知识是最好的。但如果你只是掌握其他的编程语言,那也已经足够了。由于篇幅限制,本系列将分四篇文章发布,雷锋网编译,未经许可不得转载。

为什么让机器学会图像识别?

图像识别是开发和测试机器学习的一项重要任务,因为视觉可能是最重要的一项感知能力。虽然对于人类来说,它是与生俱来的。但它是怎么实现的?大脑是怎样将视网膜上的图像转化成我们对周围环境的心智模式的?我想没人能对此一清二楚。关键是,对我们来说这看起来如此简单——我们不需要有意识地去做这件事,而对于计算机来说却困难重重(事实上,对我们来说也并不是看上去那么简单。只是我们并没有意识到进行了多少工作。有超过一半的大脑区域直接或间接参与了视觉活动)。

在我们甚至都不知道自己怎么看到东西的情况下,怎么让计算机去做到这样的事情呢?这就是机器学习要研究的事情。我们采取的方法是让计算机自己去完成这样的过程,而不是手把手地一步步教会计算机如何解释图像并翻译成计算机程序。我们给计算机提供总体结构,让计算机从经验中学习,就像我们人类做的那样。

但是,在我们开始构想计算机视觉的整体方案之前,让我们把这个任务简化为一个容易掌握的小目标。

图像分类和CIFAR-10数据集

我们尝试解决一个尽可能小而简单的问题,另外也不要期望它能瞬间让我们成为机器学习大师。我们希望计算机能做的包括以下方面:当我们向计算机展示一幅图片(特定尺寸)时,它能够对图片进行分析并打上标签。他可以从固定数量的标签中进行选择,每一类的标签描述了一种图像的内容。我们的目标就是这个模型能够尽可能地挑选出正确的标签。这个任务被称作图像分类。

我们将使用标准的CIFAR-10数据集。CIFAR-10包含了60000幅图片。它有10个不同的分类,每类包含6000幅图片。每幅图片的规格是32x32像素。这么小尺寸的图片对我们人类来说有时很难进行正确的分类,但它却简化了计算机模型的任务,并降低了分析图片的计算负载。


机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

CIFAR-10数据集中10个分类中的随机图片。由于分辨率低,人类很难进行正确的标签。

我们将图片转化为一连串的数字输送给计算模型。每个像素由代表红色,绿色和蓝色的三个浮点数来表示。其结果就是32x32x3=3072个值。

除了CIFAR-10,还有很多其他的图像数据集可以用于计算机视觉的研究。之所以使用标准数据集,有两个目的:

第一,要收集这么多的图片是一项巨大的工作。你需要有大量的图片资源,并根据需要对他们进行分别标签。

第二,使用相同的数据集,可以让我们有目的地比较不同方法的优劣。

另外,使用标准数据集,可以相互比较,在竞赛中排出名次。最有名的比赛是Image-Net图像识别大赛,它需要对1000个不同的种类进行识别。2012年的胜者是来自多伦多大学(University of Toronto)的亚力克斯•克利则夫斯基(Alex Krizhevsky),伊利亚·苏特斯科娃(Ilya Sutskever)和杰夫·辛顿(Geoffrey Hinton)设计的算法(雷锋网注:可点击论文链接查看)。这个系统领跑整个比赛并且以巨大的优势获胜。

这次比赛对整个研究领域产生了巨大的冲击,因为这是第一次使用卷积神经网络的方法获得胜利。卷积神经网络是一种人工神经网络,它大致模拟了动物视觉的皮质行为。这一技术的应用已经有一段时间,但它的潜力还没被多数人认识到。2012 Image-Net竞赛后,这种情况出现了改变。人们突然对神经网络和深度学习(深度学习是使用多层神经网络的方法解决机器学习的问题)产生了巨大兴趣,而这次赛事也极大地推动了以后几年深度学习的快速发展。

监督学习

我们怎么使用图像数据集让计算机自己学习呢?即使计算机自己能够学习,我们也需要告诉它学习什么和怎样学习。所以,我们需要通过制定一个大致的流程让计算机能够对图像进行评估。

我们定义一个通用的数学模型,将输入图像转换为输出标签。这个模型的实际输出不仅仅依赖于图像本身,还依赖模型内建的参数。这些参数并不是由我们提供,而是由计算机通过学习获得。

这样一来,这个过程可以被理解为一个优化问题。我们初始定义一个模型并提供初始的参数值。然后再向模型输入图像数据集和已知的正确标签。这就是训练的过程。在这个阶段模型重复校验,训练数据,持续调整参数值。目标是找到合适的参数使模型输出尽可能多的正确结果。这种同时使用输入数据和正确结果的训练方法叫做监督学习。还有一种叫做非监督学习,这种学习中只使用了输入数据而没有标签,但在这篇文章中我们不做讨论。

当训练完成,模型参数被固定下来,并可以被用于图像集以外的图像分类。

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

在训练期间,模型的预测结果与真实值进行比较。这些信息被用于更新参数值。在测试过程中就不再有反馈,模型只是产生标签。

TensorFlow

TensorFlow是机器学习的开源软件库,它由Google在2015年发布并很快成为全世界的研究者和学习者中最流行的机器学习库之一。它在图像分类模型中承担重要作用。

接下来,我们就要开始学习如何用TensorFlow搭建一个合适的模型。

建立模型,一个Softmax分类器

Github支持这个模型的完整代码。在使用之前,你需要安装以下软件:

· Python(代码经过了Python2.7测试,Python3.3+也应该可以工作,安装链接)

·  TensorFlow(安装指导链接)

·  CIFAR-10数据集:下载Python版本的数据集

 从https://www.cs.toronto.edu/~kriz/cifar.html下载或者使用链接中的压缩文档。请把 cifar-10-batches-py解压到python源代码的目录下,这样图像的路径应该为/path-to-your-python-source-code-files/cifar-10-batches-py/。

 好了,现在我们可以开始了。让我们先来看看试验的主文件softmax.py,一行一行地来分析:

from __future__ import absolute_import

from __future__ import division

from __future__ import print_function


import numpy as np

import tensorflow as tf

import time

import data_helpers

根据TensorFlow代码规范,在所有TensorFlow Python文件中为了Python2和3的兼容性,都应该添加future语句。然后导入TensorFlow,numpy用于数值计算和时间模块。data_helper.py包括加载和准备数据集的函数。

beginTime = time.time()

 # Parameter definitions


batch_size = 100

learning_rate = 0.005

max_steps = 1000

 

# Prepare data

data_sets = data_helpers.load_data()

我们启动一个计时器测量运行时间和定义一些参数。稍后在实际使用它们时再进行讨论。然后加载CIFAR-10数据集。因为读取数据并不是我们要做的核心,我把这部分的函数单独放在data_helper.py文件中。它只是负责读取包含数据集的文件,并把数据放入一个方便我们操作的数据结构中。

需要提到的重要的一点是,load_data()是将60000幅图像分为两部分。大的一部分包含50000幅图像。这些数据集用于训练我们的模型。另外的10000幅图像被称作测试集。在训练结束之前,我们的模型将不会看到这些图像。直到模型中的参数不再变换,我们使用测试集作为模型输入来检验模型的性能。

将数据分为训练集和测试集非常重要。我们并不知道我们的模型在遇到训练数据集或测试数据集的时候是否有相同的表现。最糟的情况在于,模型记录下了它看过的所有图像。如果我们使用相同的训练集进行测试,模型通过查找存储下来的正确答案,可能表现得非常完美。但是如果使用它从未见过的图像则原形毕露。这在模型学习中有个专门的概念叫做过度拟合,就是说特定的训练数据可能掩盖一些更为通常的特征。在机器学习中避免过度拟合是一项重大的课题。关于过度拟合和为什么建议将数据分成2个或者3个数据集,可以参考Coursera上吴恩达(Andrew Ng)机器学习课程的节选视频

回到我们的代码,load_data()返回一个dictionary类型数据:

  • images_train:训练集转换为50000x3072(32像素x32像素x3个颜色通道)的数组

  • labels_train:训练集的50000个标签(每个数字从0到9代表图像训练集的10个分类)

  • images_test:测试集(10000x3072)

  • labels_test:测试集的10000个标签

  • classes:10个文本标签,将数字转换成文字(0代表“飞机”,1代表“车”,等等)

# Define input placeholders

images_placeholder = tf.placeholder(tf.float32, shape=[None, 3072])

labels_placeholder = tf.placeholder(tf.int64, shape=[None])

本文作者:晟炜

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
4天前
|
机器学习/深度学习 传感器 自动驾驶
探索机器学习在图像识别中的创新应用
本文深入分析了机器学习技术在图像识别领域的最新进展,探讨了深度学习算法如何推动图像处理技术的突破。通过具体案例分析,揭示了机器学习模型在提高图像识别准确率、效率及应用场景拓展方面的潜力。文章旨在为读者提供一个全面的视角,了解当前机器学习在图像识别领域的创新应用和未来发展趋势。
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
【大作业-04】手把手教你构建垃圾分类系统-基于tensorflow2.3
本文介绍了基于TensorFlow 2.3的垃圾分类系统,通过B站视频和博客详细讲解了系统的构建过程。系统使用了包含8万张图片、245个类别的数据集,训练了LeNet和MobileNet两个卷积神经网络模型,并通过PyQt5构建了图形化界面,用户上传图片后,系统能识别垃圾的具体种类。此外,还提供了模型和数据集的下载链接,方便读者复现实验。垃圾分类对于提高资源利用率、减少环境污染具有重要意义。
39 0
【大作业-04】手把手教你构建垃圾分类系统-基于tensorflow2.3
|
5天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
25 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
5天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
21 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
5天前
|
机器学习/深度学习 人工智能 算法
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
蔬菜识别系统,本系统使用Python作为主要编程语言,通过收集了8种常见的蔬菜图像数据集('土豆', '大白菜', '大葱', '莲藕', '菠菜', '西红柿', '韭菜', '黄瓜'),然后基于TensorFlow搭建卷积神经网络算法模型,通过多轮迭代训练最后得到一个识别精度较高的模型文件。在使用Django开发web网页端操作界面,实现用户上传一张蔬菜图片识别其名称。
25 0
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
|
15天前
|
机器学习/深度学习 TensorFlow API
机器学习实战:TensorFlow在图像识别中的应用探索
【10月更文挑战第28天】随着深度学习技术的发展,图像识别取得了显著进步。TensorFlow作为Google开源的机器学习框架,凭借其强大的功能和灵活的API,在图像识别任务中广泛应用。本文通过实战案例,探讨TensorFlow在图像识别中的优势与挑战,展示如何使用TensorFlow构建和训练卷积神经网络(CNN),并评估模型的性能。尽管面临学习曲线和资源消耗等挑战,TensorFlow仍展现出广阔的应用前景。
42 5
|
1月前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
55 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
【大作业-02】水果蔬菜识别系统-基于tensorflow2.3开发
2021年6月18日,TensorFlow 2.3物体分类代码已修复并更新。本项目支持自定义数据集训练,包括基于CNN和Mobilenet的模型,后者准确率高达97%。提供了详细的CSDN教程、B站教学视频及数据集下载链接,帮助用户快速上手。项目还包括PyQt5构建的图形界面,方便用户上传图片进行果蔬识别。更多详情与代码可在Gitee获取。
43 0
【大作业-02】水果蔬菜识别系统-基于tensorflow2.3开发
|
2月前
|
机器学习/深度学习 算法 TensorFlow
交通标志识别系统Python+卷积神经网络算法+深度学习人工智能+TensorFlow模型训练+计算机课设项目+Django网页界面
交通标志识别系统。本系统使用Python作为主要编程语言,在交通标志图像识别功能实现中,基于TensorFlow搭建卷积神经网络算法模型,通过对收集到的58种常见的交通标志图像作为数据集,进行迭代训练最后得到一个识别精度较高的模型文件,然后保存为本地的h5格式文件。再使用Django开发Web网页端操作界面,实现用户上传一张交通标志图片,识别其名称。
102 6
交通标志识别系统Python+卷积神经网络算法+深度学习人工智能+TensorFlow模型训练+计算机课设项目+Django网页界面
|
2月前
|
机器学习/深度学习 人工智能 自动驾驶
揭秘AI的魔法:机器学习在图像识别中的应用
【9月更文挑战第24天】当AI技术遇到图像识别,就像是打开了新世界的大门。本文将深入浅出地介绍机器学习在图像识别领域的应用,通过实例和代码展示如何让机器“看懂”图片。让我们一起探索AI的魔法,开启一段科技与创新的旅程!

热门文章

最新文章