iOS MachineLearning 系列(21)——CoreML模型的更多训练模板

简介: 前面文章中,有介绍如何训练生成定制化需求的 CoreML 模型,以图像分类为例做了演示.

iOS MachineLearning 系列(21)——CoreML模型的更多训练模板

前面文章中,有介绍如何训练生成定制化需求的 CoreML 模型,以图像分类为例做了演示,文章地址:

https://my.oschina.net/u/2340880/blog/9377371

Create ML工具还提供了更多训练模版,本篇文章将系统的对其用法进行介绍。

一.Object Detection类的模型训练

之前我们也有使用过Object Detection类的模型,Object Detection,顾名思义为对象识别。即可以将一张图片中的某个对象识别出来,分析出对象的标签以及标识处对象所在图片中的位置。Object Detection最常用的模型有人脸识别模型,交通信号灯识别模型,动物识别模型等。当然,已经训练好的这些模型不一定能够满足我们需求,还以动漫角色为例,假如我们的应用需要能识别出某个图片中的某个动漫角色人物,并分析出其所在图片的位置,就可以自主来训练Object Detection类的模型。

使用Create ML工具时,视觉类模型训练的步骤基本都是一致的,我们只需要提供一组训练数据和一组测试数据,在进行一些参数配置即可。详情可以参考本系列的上一篇文章。在训练某个模型时,我们最需要关注的其实就是数据的输入格式和参数的配置。

Object Detection类的模型训练大致可以分为如下几步:

  1. 收集数据足够多,且差异性覆盖足够的一组图片集(大部分数据类模型的训练都需要)。
  2. 对数据集进行处理,为每张训练图片进行注解,注解包括此图中对象的标签以及所在位置(收集到数据后,一般都需要处理才能进行训练)。
  3. 按照固定的格式来整理文件和目录结构,进行训练。

下面我们来详细的介绍这几个步骤。

数据的收集无需做过多介绍,只需要指定一组正常格式的图片文件即可,将这些文件放入到一个文件夹中。我们通常会将用来训练的数据集的文件夹命名为Training Data。比较重要的一步是构建annotation.json文件,这个文件的文件名是固定的,必须命名为annotation.json,且与训练图片放入同一个文件夹中,其用来为每张训练图片进行标注。每个注解对象的结构如下:

{
   
  "imagefilename": "图片文件的名字",
  "annotation": [
    {
   
      "coordinates": {
   
        "y": 0.0,
        "x": 0.0,
        "height": 199.0,
        "width": 199.0
      },
      "label": "标签名"
    }
  ]
}

其中,annotation可以配置为一个数组,这也就是说,Object Detection是支持一张图片中包含多个要识别的对象的,只需要正确的标志位置和标签即可。coordinates用来标记对象所在的位置和尺寸。x,y分别是相对于原点的横纵坐标位置,width和height分别设置对象的宽高。(需要注意,此处的原点为图片左上角点)。默认的尺寸坐标为像素,也支持使用比例,只需要将值都设置为0到1之间的浮点数即可。例如:

{
   
  "imagefilename": "图片文件的名字",
  "annotation": [
    {
   
      "coordinates": {
   
        "y": 0.1,
        "x": 0.1,
        "height": 0.9,
        "width": 0.9
      },
      "label": "标签名"
    }
  ]
}

之后,设置Training Data进行训练即可。

二.Style Transfer类型的模型训练

Style Transfer类型的模型用来转换图片或视频的风格,这个模型也很常用,相机和视频滤镜经常会使用到此类模型。使用这个训练模版,我们可以训练出一个自定义的图片或视频滤镜。

Style Transfer类型的模型训练需要准备一组训练图集,并提供一张样本风格的图片,在训练时,有两个参数可以进行调节:Strength和Density。

Strength参数高,则生成的模型在应用时会保留原图更少的内容,而应用更多的样式。

Density参数设置的越高,则学习风格的精细程度越高。

三. Hand Pose Classification类型的模型训练

此类型的模型与Image Classification的模型训练方式是一致的,提供一个数据集,其中按照文件夹命名来对图片进行分类,进行训练即可。

四.ActionClassification,Hand Action Calssification类型的模型训练

这两类模型主要是用来进行动作的识别,要识别动作,简单的静态图片是无法实现的,因此训练时,需要提供视频数据,参数配置帧率,动作时长等。

五.SoundClassifier类型模型的训练

SoundClassifier类型模型用来进行声音的分类,训练此模型与训练Image Classification的模型类似,将数据集的声音按照类型进行分类,分别放在不同的文件夹下,文件夹的名字即是声音的类别,即可进行训练。

六.文本分析类型的模型训练

文本分析类型的模型的训练,主要能够训练出进行文本分类的模型。在Create ML工具中,提供了两个模版,TextClassifier和WordTager。TextClassifier模型用来进行文本分类,例如之前有使用的文本的积极性分析,只需要将本文文件(txt)放入对应的标签文件夹中,将文件夹组成数据集进行训练即可。WordTager类型的模型训练也很简单,提供一组词汇,并且进行标签标记,之前使用的词性分析即是这类方式训练出来的模型。

除了上面提到的这些标准模板外,Create ML工具还提供了训练数据表格化模型的模板。并且,上面所有提到的模型的训练,除了直接使用Create ML可视化工具外,我们也可以通过编写代码的方式来进行训练,此工具使用到的接口在CroreML框架中都有提供。

目录
相关文章
|
6月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
176 0
|
机器学习/深度学习 人工智能 自然语言处理
iOS MachineLearning 系列(22)——将其他三方模型转换成CoreML模型
本篇文章将是本系列文章的最后一篇。本专题将iOS中有关Machine Learning的相关内容做了整体梳理。下面是专题中的其他文章地址,希望如果你有需要,本专题可以帮助到你。
355 0
|
人工智能 数据挖掘 API
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
本系列前面的文章详细的介绍了在iOS中与AI能力相关的API的使用,也介绍了如何使用训练好的CoreML模型来实现更强大的AI能力。然而,无论是成熟的API提供的能力,还是各种各样的三方模型,有时候都并不能满足某一领域内的定制化需求。当我们拥有很多的课训练数据,且需要定制化的AI能力时,其实就可以自己训练生成CoreML模型,将此定制化的模型应用到工程中去。
420 0
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
|
自然语言处理 搜索推荐 iOS开发
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
本篇文章将介绍Apple官方推荐的唯一的一个文本处理模型:BERT-SQuAD。此模型用来分析一段文本,并根据提供的问题在文本中寻找答案。需要注意,BERT模型不会生成新的句子,它会从提供的文本中找到最有可能的答案段落或句子。
194 0
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
|
存储 API vr&ar
iOS MachineLearning 系列(18)—— PoseNet,DeeplabV3与FCRN-DepthPrediction模型
本篇文章将再介绍三个官方的CoreML模型:PoseNet,DeeplabV3和FCRN-DepthPrediction。
322 0
iOS MachineLearning 系列(18)—— PoseNet,DeeplabV3与FCRN-DepthPrediction模型
|
1月前
|
Java Android开发 Swift
安卓与iOS开发对比:平台选择对项目成功的影响
【10月更文挑战第4天】在移动应用开发的世界中,选择合适的平台是至关重要的。本文将深入探讨安卓和iOS两大主流平台的开发环境、用户基础、市场份额和开发成本等方面的差异,并分析这些差异如何影响项目的最终成果。通过比较这两个平台的优势与挑战,开发者可以更好地决定哪个平台更适合他们的项目需求。
110 1
|
1月前
|
设计模式 安全 Swift
探索iOS开发:打造你的第一个天气应用
【9月更文挑战第36天】在这篇文章中,我们将一起踏上iOS开发的旅程,从零开始构建一个简单的天气应用。文章将通过通俗易懂的语言,引导你理解iOS开发的基本概念,掌握Swift语言的核心语法,并逐步实现一个具有实际功能的天气应用。我们将遵循“学中做,做中学”的原则,让理论知识和实践操作紧密结合,确保学习过程既高效又有趣。无论你是编程新手还是希望拓展技能的开发者,这篇文章都将为你打开一扇通往iOS开发世界的大门。
|
7天前
|
安全 数据处理 Swift
深入探索iOS开发中的Swift语言特性
本文旨在为开发者提供对Swift语言在iOS平台开发的深度理解,涵盖从基础语法到高级特性的全面分析。通过具体案例和代码示例,揭示Swift如何简化编程过程、提高代码效率,并促进iOS应用的创新。文章不仅适合初学者作为入门指南,也适合有经验的开发者深化对Swift语言的认识。
24 9
|
6天前
|
Android开发 Swift iOS开发
探索安卓与iOS开发的差异和挑战
【10月更文挑战第37天】在移动应用开发的广阔舞台上,安卓和iOS这两大操作系统扮演着主角。它们各自拥有独特的特性、优势以及面临的开发挑战。本文将深入探讨这两个平台在开发过程中的主要差异,从编程语言到用户界面设计,再到市场分布的不同影响,旨在为开发者提供一个全面的视角,帮助他们更好地理解并应对在不同平台上进行应用开发时可能遇到的难题和机遇。
|
4天前
|
iOS开发 开发者
探索iOS开发中的SwiftUI框架
【10月更文挑战第39天】在苹果的生态系统中,SwiftUI框架以其声明式语法和易用性成为开发者的新宠。本文将深入SwiftUI的核心概念,通过实际案例展示如何利用这一框架快速构建用户界面,并探讨其对iOS应用开发流程的影响。