iOS MachineLearning 系列(21)——CoreML模型的更多训练模板

简介: 前面文章中,有介绍如何训练生成定制化需求的 CoreML 模型,以图像分类为例做了演示.

iOS MachineLearning 系列(21)——CoreML模型的更多训练模板

前面文章中,有介绍如何训练生成定制化需求的 CoreML 模型,以图像分类为例做了演示,文章地址:

https://my.oschina.net/u/2340880/blog/9377371

Create ML工具还提供了更多训练模版,本篇文章将系统的对其用法进行介绍。

一.Object Detection类的模型训练

之前我们也有使用过Object Detection类的模型,Object Detection,顾名思义为对象识别。即可以将一张图片中的某个对象识别出来,分析出对象的标签以及标识处对象所在图片中的位置。Object Detection最常用的模型有人脸识别模型,交通信号灯识别模型,动物识别模型等。当然,已经训练好的这些模型不一定能够满足我们需求,还以动漫角色为例,假如我们的应用需要能识别出某个图片中的某个动漫角色人物,并分析出其所在图片的位置,就可以自主来训练Object Detection类的模型。

使用Create ML工具时,视觉类模型训练的步骤基本都是一致的,我们只需要提供一组训练数据和一组测试数据,在进行一些参数配置即可。详情可以参考本系列的上一篇文章。在训练某个模型时,我们最需要关注的其实就是数据的输入格式和参数的配置。

Object Detection类的模型训练大致可以分为如下几步:

  1. 收集数据足够多,且差异性覆盖足够的一组图片集(大部分数据类模型的训练都需要)。
  2. 对数据集进行处理,为每张训练图片进行注解,注解包括此图中对象的标签以及所在位置(收集到数据后,一般都需要处理才能进行训练)。
  3. 按照固定的格式来整理文件和目录结构,进行训练。

下面我们来详细的介绍这几个步骤。

数据的收集无需做过多介绍,只需要指定一组正常格式的图片文件即可,将这些文件放入到一个文件夹中。我们通常会将用来训练的数据集的文件夹命名为Training Data。比较重要的一步是构建annotation.json文件,这个文件的文件名是固定的,必须命名为annotation.json,且与训练图片放入同一个文件夹中,其用来为每张训练图片进行标注。每个注解对象的结构如下:

{
   
  "imagefilename": "图片文件的名字",
  "annotation": [
    {
   
      "coordinates": {
   
        "y": 0.0,
        "x": 0.0,
        "height": 199.0,
        "width": 199.0
      },
      "label": "标签名"
    }
  ]
}

其中,annotation可以配置为一个数组,这也就是说,Object Detection是支持一张图片中包含多个要识别的对象的,只需要正确的标志位置和标签即可。coordinates用来标记对象所在的位置和尺寸。x,y分别是相对于原点的横纵坐标位置,width和height分别设置对象的宽高。(需要注意,此处的原点为图片左上角点)。默认的尺寸坐标为像素,也支持使用比例,只需要将值都设置为0到1之间的浮点数即可。例如:

{
   
  "imagefilename": "图片文件的名字",
  "annotation": [
    {
   
      "coordinates": {
   
        "y": 0.1,
        "x": 0.1,
        "height": 0.9,
        "width": 0.9
      },
      "label": "标签名"
    }
  ]
}

之后,设置Training Data进行训练即可。

二.Style Transfer类型的模型训练

Style Transfer类型的模型用来转换图片或视频的风格,这个模型也很常用,相机和视频滤镜经常会使用到此类模型。使用这个训练模版,我们可以训练出一个自定义的图片或视频滤镜。

Style Transfer类型的模型训练需要准备一组训练图集,并提供一张样本风格的图片,在训练时,有两个参数可以进行调节:Strength和Density。

Strength参数高,则生成的模型在应用时会保留原图更少的内容,而应用更多的样式。

Density参数设置的越高,则学习风格的精细程度越高。

三. Hand Pose Classification类型的模型训练

此类型的模型与Image Classification的模型训练方式是一致的,提供一个数据集,其中按照文件夹命名来对图片进行分类,进行训练即可。

四.ActionClassification,Hand Action Calssification类型的模型训练

这两类模型主要是用来进行动作的识别,要识别动作,简单的静态图片是无法实现的,因此训练时,需要提供视频数据,参数配置帧率,动作时长等。

五.SoundClassifier类型模型的训练

SoundClassifier类型模型用来进行声音的分类,训练此模型与训练Image Classification的模型类似,将数据集的声音按照类型进行分类,分别放在不同的文件夹下,文件夹的名字即是声音的类别,即可进行训练。

六.文本分析类型的模型训练

文本分析类型的模型的训练,主要能够训练出进行文本分类的模型。在Create ML工具中,提供了两个模版,TextClassifier和WordTager。TextClassifier模型用来进行文本分类,例如之前有使用的文本的积极性分析,只需要将本文文件(txt)放入对应的标签文件夹中,将文件夹组成数据集进行训练即可。WordTager类型的模型训练也很简单,提供一组词汇,并且进行标签标记,之前使用的词性分析即是这类方式训练出来的模型。

除了上面提到的这些标准模板外,Create ML工具还提供了训练数据表格化模型的模板。并且,上面所有提到的模型的训练,除了直接使用Create ML可视化工具外,我们也可以通过编写代码的方式来进行训练,此工具使用到的接口在CroreML框架中都有提供。

目录
相关文章
|
7月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
194 0
|
人工智能 数据挖掘 API
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
本系列前面的文章详细的介绍了在iOS中与AI能力相关的API的使用,也介绍了如何使用训练好的CoreML模型来实现更强大的AI能力。然而,无论是成熟的API提供的能力,还是各种各样的三方模型,有时候都并不能满足某一领域内的定制化需求。当我们拥有很多的课训练数据,且需要定制化的AI能力时,其实就可以自己训练生成CoreML模型,将此定制化的模型应用到工程中去。
440 0
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
|
自然语言处理 搜索推荐 iOS开发
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
本篇文章将介绍Apple官方推荐的唯一的一个文本处理模型:BERT-SQuAD。此模型用来分析一段文本,并根据提供的问题在文本中寻找答案。需要注意,BERT模型不会生成新的句子,它会从提供的文本中找到最有可能的答案段落或句子。
202 0
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
|
机器学习/深度学习 人工智能 自然语言处理
iOS MachineLearning 系列(22)——将其他三方模型转换成CoreML模型
本篇文章将是本系列文章的最后一篇。本专题将iOS中有关Machine Learning的相关内容做了整体梳理。下面是专题中的其他文章地址,希望如果你有需要,本专题可以帮助到你。
368 0
|
存储 API vr&ar
iOS MachineLearning 系列(18)—— PoseNet,DeeplabV3与FCRN-DepthPrediction模型
本篇文章将再介绍三个官方的CoreML模型:PoseNet,DeeplabV3和FCRN-DepthPrediction。
337 0
iOS MachineLearning 系列(18)—— PoseNet,DeeplabV3与FCRN-DepthPrediction模型
|
29天前
|
开发框架 前端开发 Android开发
安卓与iOS开发中的跨平台策略
在移动应用开发的战场上,安卓和iOS两大阵营各据一方。随着技术的演进,跨平台开发框架成为开发者的新宠,旨在实现一次编码、多平台部署的梦想。本文将探讨跨平台开发的优势与挑战,并分享实用的开发技巧,帮助开发者在安卓和iOS的世界中游刃有余。
|
6天前
|
iOS开发 开发者 MacOS
深入探索iOS开发中的SwiftUI框架
【10月更文挑战第21天】 本文将带领读者深入了解Apple最新推出的SwiftUI框架,这一革命性的用户界面构建工具为iOS开发者提供了一种声明式、高效且直观的方式来创建复杂的用户界面。通过分析SwiftUI的核心概念、主要特性以及在实际项目中的应用示例,我们将展示如何利用SwiftUI简化UI代码,提高开发效率,并保持应用程序的高性能和响应性。无论你是iOS开发的新手还是有经验的开发者,本文都将为你提供宝贵的见解和实用的指导。
88 66
|
16天前
|
开发框架 Android开发 iOS开发
安卓与iOS开发中的跨平台策略:一次编码,多平台部署
在移动应用开发的广阔天地中,安卓和iOS两大阵营各占一方。随着技术的发展,跨平台开发框架应运而生,它们承诺着“一次编码,到处运行”的便捷。本文将深入探讨跨平台开发的现状、挑战以及未来趋势,同时通过代码示例揭示跨平台工具的实际运用。
|
21天前
|
Java 调度 Android开发
安卓与iOS开发中的线程管理差异解析
在移动应用开发的广阔天地中,安卓和iOS两大平台各自拥有独特的魅力。如同东西方文化的差异,它们在处理多线程任务时也展现出不同的哲学。本文将带你穿梭于这两个平台之间,比较它们在线程管理上的核心理念、实现方式及性能考量,助你成为跨平台的编程高手。
|
22天前
|
存储 前端开发 Swift
探索iOS开发:从新手到专家的旅程
本文将带您领略iOS开发的奇妙之旅,从基础概念的理解到高级技巧的掌握,逐步深入iOS的世界。文章不仅分享技术知识,还鼓励读者在编程之路上保持好奇心和创新精神,实现个人成长与技术突破。