iOS MachineLearning 系列(10)—— 自然语言分析之文本拆解

简介: 本系列的前几篇文章介绍了iOS中有关图像和视频处理的API,视觉处理主要有Vision框架负责,本篇起,将介绍在iOS中Machine Learning领域相关的自然语言处理框架:NaturalLanguage。

iOS MachineLearning 系列(10)—— 自然语言分析之文本拆解

本系列的前几篇文章介绍了iOS中有关图像和视频处理的API,视觉处理主要有Vision框架负责,本篇起,将介绍在iOS中Machine Learning领域相关的自然语言处理框架:NaturalLanguage。

1 - 简介

NaturalLanguage是iOS种提供的一种处理自然语言的内置框架,使用它不会使应用的包体积增大,不会为应用带来额外的负担,且可以实现非常强大的语言处理功能。

NaturalLanguage默认支持多种语言,拥有如下能力:

  • 检测一段文本所使用的语言。
  • 将一段文本按照词组,句子,段落进行拆解。
  • 进行词性分析。
  • 进行语义分析。

本篇,我们主要介绍其文本拆解能力,及如何使用这些API。

2 - 拆解文本 

我们先从一个简单的示例来看如何使用NaturalLanguage框架中的API进行文本拆解。

首先准备一段测试文本,如下:

最近,随着Chat-GPT4的发布,人工智能相关的资讯和话题再次火热了起来😄。

有了人工智能的加持,对人们的生活以及各行各业的工作都将带来效率的极大提升。目前,各种大模型的发布层出不穷。这些大模型虽然功能非常强大(如文本理解,绘图等),但对于个人来说,要跑起这样一个模型来对外提供服务还是比较困难的,其需要有非常强大的算力支持。

这段文案有两个段落组成。我们可以先尝试对其内的单词进行拆解。 使用NLTokenizer来解析文本,定义NLTokenizer实例如下:

let tokenizer = NLTokenizer(unit: .word)

其参数unit确定要解析的元素类型,枚举如下:

public enum NLTokenUnit : Int, @unchecked Sendable {
    // 以单词为基础进行拆解
    case word = 0 
    // 以句子为基础进行拆解
    case sentence = 1
    // 以段落为基础进行拆解
    case paragraph = 2 
    // 以文档为基础,此模式下会返回原字符串
    case document = 3 
}

调用如下的方法即可进行拆解任务:

tokenizer.enumerateTokens(in: string.startIndex ..< string.endIndex) { range, attribute in
    let word = string[range]
    self.showWord(string: String(word), type: attribute)
    return true
}

在回调block中,如果需要停止解析,返回false即可。解析的结果会将元素属性,所在原字符串中的范围进行返回。其中元素属性结构体定义如下:

public struct Attributes : OptionSet, @unchecked Sendable {

    public init(rawValue: UInt)

    // 包含数值    
    public static var numeric: NLTokenizer.Attributes { get }
    // 包含符号
    public static var symbolic: NLTokenizer.Attributes { get }
    // 包含表情
    public static var emoji: NLTokenizer.Attributes { get }
}

如果上面定义的3个静态值都没有命中,则表示当前元素只包含简单文本。

showWord方法简单实现如下:

func showWord(string: String, type: NLTokenizer.Attributes) {
    var t = ""
    if type.contains(.emoji) { t.append("[emoji]") }
    if type.contains(.numeric) { t.append("[num]") }
    if type.contains(.symbolic) { t.append("[sym]") }
    if t.isEmpty {
        t = "txt"
    }
    resultLabel.text = (resultLabel.text ?? "").appending("【\(string) - \(t)】")
}

分别以单词,句子和段落的模式进行拆解,效果如下所示:

        

可以看到,整体来说NaturalLanguage对于中文的解析能力还是比较强大的。

3 - 再看NLTokenizer 类

NLTokenizer类专门用来对文本进行拆解,本身比较简单。其中的NLTokenUnit用来设置拆解模式,内部Attributes结构体可以标记出所拆解出的元素所包含的属性。NLTokenizer类本身定义如下:

open class NLTokenizer : NSObject {
    // 初始化方法,设置拆解模式
    public init(unit: NLTokenUnit)
    // 拆解单元模式
    open var unit: NLTokenUnit { get }
    // 进行处理的字符串
    open var string: String?
    // 设置文本所使用的语言,如果不设置可以自行解析
    open func setLanguage(_ language: NLLanguage)
    // 解析文本某个位置的元素
    public func tokenRange(at index: String.Index) -> Range<String.Index>
    // 解析文本某个范围的元素
    public func tokenRange(for range: Range<String.Index>) -> Range<String.Index>
    // 枚举出所有元素
    public func enumerateTokens(in range: Range<String.Index>, using block: (Range<String.Index>, NLTokenizer.Attributes) -> Bool)
    // 解析所有元素
    public func tokens(for range: Range<String.Index>) -> [Range<String.Index>]
}
拆解往往是自然语言分析的第一步,通常我们会将长文本进行拆解,之后在对每个元素进行语言类型分析或语义分析,以及词汇的词性分析等,后面的文章会具体再做介绍。
目录
相关文章
|
7天前
|
搜索推荐 Android开发 iOS开发
安卓与iOS系统的用户界面设计对比分析
本文通过对安卓和iOS两大操作系统的用户界面设计进行对比分析,探讨它们在设计理念、交互方式、视觉风格等方面的差异及各自特点,旨在帮助读者更好地理解和评估不同系统的用户体验。
34 1
|
7天前
|
Android开发 数据安全/隐私保护 iOS开发
安卓与iOS系统的发展趋势与比较分析
【2月更文挑战第6天】 在移动互联网时代,安卓和iOS系统作为两大主流移动操作系统,各自呈现出不同的发展趋势。本文将从技术角度出发,对安卓和iOS系统的发展方向、特点及未来趋势进行比较分析,以期为读者提供更深入的了解和思考。
49 4
|
8月前
|
C语言 索引
09-iOS之load和initialize底层调用原理分析
09-iOS之load和initialize底层调用原理分析
61 0
|
7天前
|
安全 搜索推荐 Android开发
Android 与 iOS 的比较分析
【2月更文挑战第5天】 Android 和 iOS 是目前市场上两种最流行的移动操作系统,它们都拥有自己的特点和优势。本文将会分别从操作系统设计、应用生态、安全性等方面对这两种操作系统进行比较和分析,希望能够帮助读者更好地选择适合自己的移动设备。
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
iOS MachineLearning 系列(22)——将其他三方模型转换成CoreML模型
本篇文章将是本系列文章的最后一篇。本专题将iOS中有关Machine Learning的相关内容做了整体梳理。下面是专题中的其他文章地址,希望如果你有需要,本专题可以帮助到你。
245 0
|
10月前
|
数据可视化 数据挖掘 iOS开发
iOS MachineLearning 系列(21)——CoreML模型的更多训练模板
前面文章中,有介绍如何训练生成定制化需求的 CoreML 模型,以图像分类为例做了演示.
133 0
|
10月前
|
存储 编解码 缓存
HTTP Live Streaming直播(iOS直播)技术分析与实现
HTTP Live Streaming直播(iOS直播)技术分析与实现
139 1
|
12月前
|
人工智能 数据挖掘 API
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
本系列前面的文章详细的介绍了在iOS中与AI能力相关的API的使用,也介绍了如何使用训练好的CoreML模型来实现更强大的AI能力。然而,无论是成熟的API提供的能力,还是各种各样的三方模型,有时候都并不能满足某一领域内的定制化需求。当我们拥有很多的课训练数据,且需要定制化的AI能力时,其实就可以自己训练生成CoreML模型,将此定制化的模型应用到工程中去。
287 0
iOS MachineLearning 系列(20)—— 训练生成CoreML模型
|
12月前
|
自然语言处理 搜索推荐 iOS开发
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
本篇文章将介绍Apple官方推荐的唯一的一个文本处理模型:BERT-SQuAD。此模型用来分析一段文本,并根据提供的问题在文本中寻找答案。需要注意,BERT模型不会生成新的句子,它会从提供的文本中找到最有可能的答案段落或句子。
141 0
iOS MachineLearning 系列(19)—— 分析文本中的问题答案
|
7天前
|
API 数据安全/隐私保护 iOS开发
利用uni-app 开发的iOS app 发布到App Store全流程
利用uni-app 开发的iOS app 发布到App Store全流程
116 3