机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介:

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

如果你觉得这是一篇简单介绍人工智能、机器学习和深度学习的文章,那就错啦。你可以在网上搜罗到一大堆相关话题的文章,而这篇文章也并不是讨论人工智能是否会奴役人类或抢走人们饭碗之类的话题,毕竟相关的各种推论和谣言已经满天飞了。

这只是一篇详细描述如何开始搭建一个机器学习系统,并让它可以识别所看到图像的文章。

作者Wolfgang Beyer目前现在正在学习人工智能和机器学习的内容。他认为最好的学习方式不是仅仅阅读各类材料,而是要真正地去动手搭建一个系统。这就是雷锋网翻译本文的目的,也是作者要向你介绍的。在这篇文章中Beyer将向你展示如何搭建一个系统,去完成一项简单的计算机视觉任务:识别图像内容。

Beyer强调,他并不是一个专家。“我正在学习,而且还有很多东西需要学习。我只是简单介绍我正在做的事情。如果这对你能有所帮助,或者你也觉得很有趣,就已经很好了。如果你发现了错误或有什么改进建议也请告诉我,你的回复对我也很重要。”

阅读本文前你并不需要具备机器学习的相关经验。示例代码是使用Python写的,如果你有Python的基础知识是最好的。但如果你只是掌握其他的编程语言,那也已经足够了。由于篇幅限制,本系列将分四篇文章发布,雷锋网编译,未经许可不得转载。

为什么让机器学会图像识别?

图像识别是开发和测试机器学习的一项重要任务,因为视觉可能是最重要的一项感知能力。虽然对于人类来说,它是与生俱来的。但它是怎么实现的?大脑是怎样将视网膜上的图像转化成我们对周围环境的心智模式的?我想没人能对此一清二楚。关键是,对我们来说这看起来如此简单——我们不需要有意识地去做这件事,而对于计算机来说却困难重重(事实上,对我们来说也并不是看上去那么简单。只是我们并没有意识到进行了多少工作。有超过一半的大脑区域直接或间接参与了视觉活动)。

在我们甚至都不知道自己怎么看到东西的情况下,怎么让计算机去做到这样的事情呢?这就是机器学习要研究的事情。我们采取的方法是让计算机自己去完成这样的过程,而不是手把手地一步步教会计算机如何解释图像并翻译成计算机程序。我们给计算机提供总体结构,让计算机从经验中学习,就像我们人类做的那样。

但是,在我们开始构想计算机视觉的整体方案之前,让我们把这个任务简化为一个容易掌握的小目标。

图像分类和CIFAR-10数据集

我们尝试解决一个尽可能小而简单的问题,另外也不要期望它能瞬间让我们成为机器学习大师。我们希望计算机能做的包括以下方面:当我们向计算机展示一幅图片(特定尺寸)时,它能够对图片进行分析并打上标签。他可以从固定数量的标签中进行选择,每一类的标签描述了一种图像的内容。我们的目标就是这个模型能够尽可能地挑选出正确的标签。这个任务被称作图像分类。

我们将使用标准的CIFAR-10数据集。CIFAR-10包含了60000幅图片。它有10个不同的分类,每类包含6000幅图片。每幅图片的规格是32x32像素。这么小尺寸的图片对我们人类来说有时很难进行正确的分类,但它却简化了计算机模型的任务,并降低了分析图片的计算负载。


机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

CIFAR-10数据集中10个分类中的随机图片。由于分辨率低,人类很难进行正确的标签。

我们将图片转化为一连串的数字输送给计算模型。每个像素由代表红色,绿色和蓝色的三个浮点数来表示。其结果就是32x32x3=3072个值。

除了CIFAR-10,还有很多其他的图像数据集可以用于计算机视觉的研究。之所以使用标准数据集,有两个目的:

第一,要收集这么多的图片是一项巨大的工作。你需要有大量的图片资源,并根据需要对他们进行分别标签。

第二,使用相同的数据集,可以让我们有目的地比较不同方法的优劣。

另外,使用标准数据集,可以相互比较,在竞赛中排出名次。最有名的比赛是Image-Net图像识别大赛,它需要对1000个不同的种类进行识别。2012年的胜者是来自多伦多大学(University of Toronto)的亚力克斯•克利则夫斯基(Alex Krizhevsky),伊利亚·苏特斯科娃(Ilya Sutskever)和杰夫·辛顿(Geoffrey Hinton)设计的算法(雷锋网注:可点击论文链接查看)。这个系统领跑整个比赛并且以巨大的优势获胜。

这次比赛对整个研究领域产生了巨大的冲击,因为这是第一次使用卷积神经网络的方法获得胜利。卷积神经网络是一种人工神经网络,它大致模拟了动物视觉的皮质行为。这一技术的应用已经有一段时间,但它的潜力还没被多数人认识到。2012 Image-Net竞赛后,这种情况出现了改变。人们突然对神经网络和深度学习(深度学习是使用多层神经网络的方法解决机器学习的问题)产生了巨大兴趣,而这次赛事也极大地推动了以后几年深度学习的快速发展。

监督学习

我们怎么使用图像数据集让计算机自己学习呢?即使计算机自己能够学习,我们也需要告诉它学习什么和怎样学习。所以,我们需要通过制定一个大致的流程让计算机能够对图像进行评估。

我们定义一个通用的数学模型,将输入图像转换为输出标签。这个模型的实际输出不仅仅依赖于图像本身,还依赖模型内建的参数。这些参数并不是由我们提供,而是由计算机通过学习获得。

这样一来,这个过程可以被理解为一个优化问题。我们初始定义一个模型并提供初始的参数值。然后再向模型输入图像数据集和已知的正确标签。这就是训练的过程。在这个阶段模型重复校验,训练数据,持续调整参数值。目标是找到合适的参数使模型输出尽可能多的正确结果。这种同时使用输入数据和正确结果的训练方法叫做监督学习。还有一种叫做非监督学习,这种学习中只使用了输入数据而没有标签,但在这篇文章中我们不做讨论。

当训练完成,模型参数被固定下来,并可以被用于图像集以外的图像分类。

机器学习零基础?手把手教你用TensorFlow搭建图像识别系统(一)| 干货

在训练期间,模型的预测结果与真实值进行比较。这些信息被用于更新参数值。在测试过程中就不再有反馈,模型只是产生标签。

TensorFlow

TensorFlow是机器学习的开源软件库,它由Google在2015年发布并很快成为全世界的研究者和学习者中最流行的机器学习库之一。它在图像分类模型中承担重要作用。

接下来,我们就要开始学习如何用TensorFlow搭建一个合适的模型。

建立模型,一个Softmax分类器

Github支持这个模型的完整代码。在使用之前,你需要安装以下软件:

· Python(代码经过了Python2.7测试,Python3.3+也应该可以工作,安装链接)

·  TensorFlow(安装指导链接)

·  CIFAR-10数据集:下载Python版本的数据集

 从https://www.cs.toronto.edu/~kriz/cifar.html下载或者使用链接中的压缩文档。请把 cifar-10-batches-py解压到python源代码的目录下,这样图像的路径应该为/path-to-your-python-source-code-files/cifar-10-batches-py/。

 好了,现在我们可以开始了。让我们先来看看试验的主文件softmax.py,一行一行地来分析:

from __future__ import absolute_import

from __future__ import division

from __future__ import print_function


import numpy as np

import tensorflow as tf

import time

import data_helpers

根据TensorFlow代码规范,在所有TensorFlow Python文件中为了Python2和3的兼容性,都应该添加future语句。然后导入TensorFlow,numpy用于数值计算和时间模块。data_helper.py包括加载和准备数据集的函数。

beginTime = time.time()

 # Parameter definitions


batch_size = 100

learning_rate = 0.005

max_steps = 1000

 

# Prepare data

data_sets = data_helpers.load_data()

我们启动一个计时器测量运行时间和定义一些参数。稍后在实际使用它们时再进行讨论。然后加载CIFAR-10数据集。因为读取数据并不是我们要做的核心,我把这部分的函数单独放在data_helper.py文件中。它只是负责读取包含数据集的文件,并把数据放入一个方便我们操作的数据结构中。

需要提到的重要的一点是,load_data()是将60000幅图像分为两部分。大的一部分包含50000幅图像。这些数据集用于训练我们的模型。另外的10000幅图像被称作测试集。在训练结束之前,我们的模型将不会看到这些图像。直到模型中的参数不再变换,我们使用测试集作为模型输入来检验模型的性能。

将数据分为训练集和测试集非常重要。我们并不知道我们的模型在遇到训练数据集或测试数据集的时候是否有相同的表现。最糟的情况在于,模型记录下了它看过的所有图像。如果我们使用相同的训练集进行测试,模型通过查找存储下来的正确答案,可能表现得非常完美。但是如果使用它从未见过的图像则原形毕露。这在模型学习中有个专门的概念叫做过度拟合,就是说特定的训练数据可能掩盖一些更为通常的特征。在机器学习中避免过度拟合是一项重大的课题。关于过度拟合和为什么建议将数据分成2个或者3个数据集,可以参考Coursera上吴恩达(Andrew Ng)机器学习课程的节选视频

回到我们的代码,load_data()返回一个dictionary类型数据:

  • images_train:训练集转换为50000x3072(32像素x32像素x3个颜色通道)的数组

  • labels_train:训练集的50000个标签(每个数字从0到9代表图像训练集的10个分类)

  • images_test:测试集(10000x3072)

  • labels_test:测试集的10000个标签

  • classes:10个文本标签,将数字转换成文字(0代表“飞机”,1代表“车”,等等)

# Define input placeholders

images_placeholder = tf.placeholder(tf.float32, shape=[None, 3072])

labels_placeholder = tf.placeholder(tf.int64, shape=[None])

本文作者:晟炜

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
12月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
959 55
|
6月前
|
机器学习/深度学习 存储 运维
机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统
本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。
430 46
|
11月前
|
人工智能 自然语言处理 安全
通过阿里云Milvus与PAI搭建高效的检索增强对话系统
阿里云向量检索Milvus版是一款全托管的云服务,兼容开源Milvus并支持无缝迁移。它提供大规模AI向量数据的相似性检索服务,具备易用性、可用性、安全性和低成本等优势,适用于多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等场景。用户可通过PAI平台部署RAG系统,创建和配置Milvus实例,并利用Attu工具进行可视化操作,快速开发和部署应用。使用前需确保Milvus实例和PAI在相同地域,并完成相关配置与开通服务。
|
12月前
|
机器学习/深度学习 监控 算法
机器学习在图像识别中的应用:解锁视觉世界的钥匙
机器学习在图像识别中的应用:解锁视觉世界的钥匙
1454 95
|
9月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了12种常见的害虫种类数据集【"蚂蚁(ants)", "蜜蜂(bees)", "甲虫(beetle)", "毛虫(catterpillar)", "蚯蚓(earthworms)", "蜚蠊(earwig)", "蚱蜢(grasshopper)", "飞蛾(moth)", "鼻涕虫(slug)", "蜗牛(snail)", "黄蜂(wasp)", "象鼻虫(weevil)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Djan
502 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
10月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
956 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
9月前
|
存储 人工智能 自然语言处理
基于QwQ-32B+Hologres+PAI搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于QwQ大模型的RAG服务,并关联Hologres引擎实例。Hologres与达摩院自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时、简单易用的向量计算能力。通过PAI-EAS,用户可以一键部署集成大语言模型(LLM)和检索增强生成(RAG)技术的对话系统服务,显著缩短部署时间并提升问答质量。具体步骤包括准备Hologres向量检索库、部署RAG服务、通过WebUI页面进行模型推理验证及API调用验证。Hologres支持高性能向量计算,适用于复杂任务的动态决策,帮助克服大模型在领域知识局限、信息更新滞后和误导性输出等方面的挑战。
|
9月前
|
人工智能 自然语言处理 API
Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于DeepSeek大模型的RAG(检索增强生成)服务,并关联Hologres引擎实例。Hologres与阿里云自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时的向量计算能力。通过PAI-EAS,用户可以一键部署集成了大语言模型和RAG技术的对话系统服务,显著缩短部署时间,并提高问答质量。部署步骤包括准备Hologres向量检索库、部署基于DeepSeek的RAG服务、通过WebUI进行模型推理验证,以及通过API调用进行模型推理验证。Hologres还提供了特色功能支持,如高性能向量计算等。
|
12月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
566 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
10月前
|
人工智能 自然语言处理 安全
基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成(RAG)系统
基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成(RAG)系统
219 0

热门文章

最新文章