探索图片的真相--卷积神经网络

简介: 探索图片的真相--卷积神经网络

今天给大家带来的是卷积神经网络,听上去是不是挺高大上的?它还有个更响亮的名字CNN,谈到CNN应该好多同学都略知一二吧,CNN在做图像识别上有着很出色的效果,那我们今天对卷积神经网络一探究竟吧!


卷积神经网络,CNN(Convolutional Neural Network),属于深度学习技术的一种算法,主要是进行特征学习,通过分层网络获取分层次的特征信息去解决人工设计特征的这个难题。

(TIPS:深度学习包含多种技术,CNN只是其中的一种,还包括:自动编码器AutoEncoder,稀疏编码Sparse Coding,限制玻尔兹曼机RBM,深信度网络Deep Belief Networks,多层反馈循环神经网络RNN)


卷积神经网络


关于卷积神经网络我们如何使用通俗易懂的语言来解释它呢?

首先我们需要了解:它就是多层神经网络,善于解决图像识别问题。那如何去理解神经网络呢,我们可以简单的想象一下那密密麻麻的渔网,网上的那些节组成的就是网络,节点和节点之间有线连接着,可以想象成每个神经元(节点)之间都产生连接。


那卷积神经网络为什么对于图像识别分类有着更好的效果呢?

图片数据对于机器来说是交大的数据,尤其是对于高清图片,机器读取和学习的时间也就越长,难度可以说指数级上升。但是卷积神经网络它可以将数据庞大的图片识别问题去不断降维(就是从图像中不断去抽取细节特征,从小的慢慢看),使得该图像最终能够被训练。


那么卷积神经网络是怎样工作的呢?

卷积神经网络是由三个层组成的,分别是:卷积层,池化层全连接层

卷积层与池化层联合工作,形成卷积组,一层一层的去提取特征,最终通过数个全连接层完成分类。

卷积层的原理其实就是局部视野的原理,有一张30*30的图片,我每次只看3*3的大小(步长为3,不重复看),看100次全部看完,这就是卷积(看下图去理解卷积)。池化层呢,就是降低维度,学术上又叫下采样,就是从原图片中进行采样,对于一张720*1080的照片,池化层进行采样,每次采30*30的大小,这就是池化了(看下图去理解池化)。总的来说,CNN是通过卷积来区分特征,并且通过卷积产生的权值共享和池化来降低网络参数的数量级,最后的工作就和普通神经网络的工作一样了。

卷积神经网络在图像数据非常多的适合会有出乎意料的效果,但是数据集过少的时候往往效果不是很好,容易出现过拟合。


640.gif

卷积


640.gif



池化




LeNet介绍

640.jpg


我们来看看这一张图,从原始图片不断提取,卷积。

先进入一个卷积层C1,由6个5x5的卷积核组成,卷积出28x28的图像,然后下采样到14x14(S2),再进一个卷积层C3,由16个5x5的卷积核组成,之后再下采样到5x5(S4)。我们可以看出,C3-0跟S2-0,1,2连接,C3-1跟S2-1,2,3连接,后面依次类推。最后,通过全连接层C5、F6得到10个输出,对应10个数字的概率。



训练

卷积神经网络的训练分为两个阶段:

阶段一:

正向传播

A、从样本集中取一个样本(X,Yp),将X输入网络;

B、计算相应的实际输出Op。

     在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘,得到最后的输出结果):

         Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))

阶段二:

反向传播

A、算实际输出Op与相应的理想输出Yp的差;

B、按极小化误差的方法反向传播调整权矩阵。



下面我们看看在TensorFlow中我们是怎么去做的吧!


前方代码过于简单,及时带好眼睛!!!


数据准备


教程的图片从Cifar数据集中获取,download_cifar.py从Keras自带的Cifar数据集中获取了部分Cifar数据集,并将其转换为jpg图片。

默认从Cifar数据集中选取了3类图片,每类50张图,分别是

0 => 飞机   1 => 汽车   2 => 鸟


导入相关库


import os#图像读取库
from PIL import Image#矩阵运算库
import numpy as np
import tensorflow as tf


配置信息

设置了一些变量增加程序的灵活性。图片文件存放在data_dir文件夹中,train表示当前执行是训练还是测试,model-path约定了模型存放的路径。


# 数据文件夹
data_dir = "data"
# 训练还是测试
train = True
# 模型文件路径
model_path = "model/image_model"


数据读取


  • pillow读取的图像像素值在0-255之间,需要归一化。
  • 在读取图像数据、Label信息的同时,记录图像的路径,方便后期调试。


640.jpg



定义placeholder(容器)


640.png



定义卷积网络(Conv和Pooling部分)

640.png


定义全连接部分


640.png

定义损失函数和优化器


640.png


定义模型保存器/载入器

640.png



训练阶段执行

640.jpg

如果trian为True,进行训练。训练需要使用sess.run(tf.global_variables_initializer())初始化参数,训练完成后,需要使用saver.save(sess, model_path)保存模型参数。


测试阶段执行

640.jpg


如果train为False,进行测试,测试需要使用saver.restore(sess, model_path)读取参数。



今天就到这里了,其实细心的同学你们会发现代码大部分都是配置数据读写数据,真正花在训练上的代码也不是很多,其实对于深度学习也就是这个意思,主要工作并不是敲代码,而是如何调参。TensorFlow在算法的封装上确实是做的很好的,我们可以直接拿过来用。大家也快去试试吧!



代码地址:

https://www.bytelang.com/o/s/c/uEOz1asEK6s=

相关文章
|
15天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
PYTHON TENSORFLOW 2二维卷积神经网络CNN对图像物体识别混淆矩阵评估|数据分享
PYTHON TENSORFLOW 2二维卷积神经网络CNN对图像物体识别混淆矩阵评估|数据分享
|
12天前
|
机器学习/深度学习 存储 监控
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
|
3天前
|
机器学习/深度学习 并行计算 测试技术
BiTCN:基于卷积网络的多元时间序列预测
该文探讨了时间序列预测中模型架构的选择,指出尽管MLP和Transformer模型常见,但CNN在预测领域的应用较少。BiTCN是一种利用两个时间卷积网络来编码历史和未来协变量的模型,提出于《Parameter-efficient deep probabilistic forecasting》(2023年3月)。它包含多个由扩张卷积、GELU激活函数、dropout和全连接层组成的临时块,有效地处理序列数据。实验表明,BiTCN在具有外生特征的预测任务中表现优于N-HiTS和PatchTST。BiTCN的效率和性能展示了CNN在时间序列预测中的潜力。
16 1
|
5天前
|
机器学习/深度学习 人工智能 算法
【AI 初识】什么是卷积神经网络 (CNN)?
【5月更文挑战第2天】【AI 初识】什么是卷积神经网络 (CNN)?
|
5天前
|
机器学习/深度学习 自然语言处理 搜索推荐
|
7天前
|
机器学习/深度学习 PyTorch TensorFlow
【Python机器学习专栏】卷积神经网络(CNN)的原理与应用
【4月更文挑战第30天】本文介绍了卷积神经网络(CNN)的基本原理和结构组成,包括卷积层、激活函数、池化层和全连接层。CNN在图像识别等领域表现出色,其层次结构能逐步提取特征。在Python中,可利用TensorFlow或PyTorch构建CNN模型,示例代码展示了使用TensorFlow Keras API创建简单CNN的过程。CNN作为强大深度学习模型,未来仍有广阔发展空间。
|
7天前
|
XML JSON 前端开发
【Flutter前端技术开发专栏】Flutter中的图片、视频与网络资源加载
【4月更文挑战第30天】Flutter是谷歌的开源前端框架,因其高性能、流畅UI和多端运行能力受开发者喜爱。本文聚焦于Flutter中的资源加载:使用`Image`组件加载静态、网络和本地图片;通过`video_player`库加载和播放视频;利用`http`包进行网络资源请求。掌握这些技巧将有助于提升Flutter应用的开发效率和质量。
【Flutter前端技术开发专栏】Flutter中的图片、视频与网络资源加载
|
9天前
|
机器学习/深度学习 算法 TensorFlow
TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
|
10天前
|
机器学习/深度学习 数据可视化 数据挖掘
【视频】少样本图像分类?迁移学习、自监督学习理论和R语言CNN深度学习卷积神经网络实例
【视频】少样本图像分类?迁移学习、自监督学习理论和R语言CNN深度学习卷积神经网络实例
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理