《Arduino家居安全系统构建实战》——2.3 组合多个单词

简介:

本节书摘来异步社区《机器学习项目开发实战》一书中的第2章,第2.3节,作者:【美】Mathias Brandewinder(马蒂亚斯·布兰德温德尔),更多章节内容可以访问云栖社区“异步社区”公众号查看

2.3 组合多个单词

使用贝叶斯定理,我们找出了根据是否包含特定单词分类SMS的方法。这是一个进展,但是我们还远没有完成任务。一条消息中有许多单词,每个都以不同的强度表现非垃圾短信和垃圾短信的特征。如何将这些信息(它们可能传递相互矛盾的信号)组合为用于决策的单一值?

2.3.1 将文本分解为标记

举个例子,考虑下面这条假设的短信:“Driving, cant txt.”它是垃圾短信的概率有多高?

我们可以直接应用贝叶斯定理,在数据集中搜索整条短信。但是,这种方法估计不会有很好的效果。找到精确复制的概率很小,更不要说多个单词的精确复制了。另一方面,我们已经看到单词“FREE”携带一些相关信息。

我们要做的就是简单地将短信分解为一组单词:“driving”“cant”和“txt”,并用某种表现形式代替原始文本。然后,分析单独标记并将它们所代表的组合为单一值,据此做出决定。

将文本块分解为有意义的元素(单词或者其他符号)——标记(Token)的过程称作标记化。决定如何标记化是模型的重要部分,没有任何独特的正确方法——取决于所要解决的问题。现在,我们和以往一样从能够实施的最简单方法入手:如果一个单词“FREE”的信息量很丰富,扩展这一想法,将短信分解为单个单词。实际上,我们将把每条短信转换为一组特征,每个特征中存在或者不存在某个特定单词。

例如,如果我们有两个字符串“Programming is Fun”(编程很有趣)和“Functional programming is more fun!”(函数式编程更有趣!),可以将它们分解为“programming”“is” “fun”和“functional”“programming”“is”“more”“fun”。这种表现方式使我们可以更加高效,不需要检查某条消息是否包含特定的子字符串,可以将每个文档处理为一组标记,快速验证是否包含我们感兴趣的特殊标记。

■ 注意:

这一通用方法对于将文本转换为计算机可以处理的形式很有用。例如,我们可以收集语料库中找到的整组标记——[“functional”; “programming”; “is”; “more”; “fun”]——并通过计算每个标记找到的次数,对每个文档进行编码。第一个文本块变成[0; 1; 1; 0; 1],第二个文本块变成[1; 1; 1; 1; 1]。我们的数据集现在采用了人类完全不可读的形式,和第1章中的数字数据集很相似:每一行是一个观测值,每一列是一个特征,所有内容都编码为数字——例如,我们可以用这些数据确定两个文档的相似度。将观测值转换为一组计算机可以分析寻找模式的数字型特征(人类无法做到),是机器学习中很典型的做法。
这时,你可能会想:“这是严重的过度简化”,你是对的。毕竟,我们将整个句子转换成一组原始的单词,忽略了句法、语法或者词序。这种转换明显丢失了信息。例如,“I like carrots and hate broccoli”(我喜欢胡萝卜,讨厌花椰菜)和“I like broccoli and hate carrots”(我喜欢花椰菜,讨厌胡萝卜)这两个句子转换成同一组标记[and; broccoli; carrots; hate; i; like],因此被认为是完全一样的。与此同时,我们没有尝试理解句子的含义,只需要识别与特定行为有联系的词语。

我要强调的另一点是,虽然我们的标记化看起来相当简单,但是已经包含了许多隐含的决策。我们决定将“Programming”和“programming”当成同一个词,忽略大小写。这是个合理的假设吗?可能是,也可能不是。如果你曾经参加过在线讨论(如论坛或者YouTube评论),可能同意大量使用大写字母往往代表着讨论质量正在走下坡路。因此,这证明大小写很重要,可能提供分类消息的相关信息。另一个隐含的决定是丢弃“!”,这合理吗?标点也可能很重要。

好消息是,我们无须争论大小写或者标点符号是否重要,可以很容易地在以后的交叉验证中得到这个问题的答案。正如W. Edwards Deming的不朽名言:“我们信仰上帝——其他人都必须用数据证明自己。”为每个假设创建不同的模型,比较它们的表现,让数据做出决定。

2.3.2 简单组合得分

现在我们已经决定将短信分解为3个标志——“driving”“cant”和“txt”——仍然必须想出计算消息是非垃圾短信或垃圾短信概率的方法。“txt”表明有很大的概率是垃圾短信,而“driving”则指向非垃圾短信。我们如何组合所有证据?如果应用贝叶斯定理,确定在包含全部3个标记的条件下,某条短信是垃圾短信的概率,可以得到如下算式:

72dd4ac7cf9fa59112af7308799500b1b6d9ceff

这个公式看上去有些可怕。但是,如果我们做一个简化的假定,事情就容易多了。我们假定这些标记相互独立——也就是说,在一条短信中看到一个标记对其他标记是否出现没有任何影响。在这种情况下,计算公式是:

P (SMS包含driving、cant、txt |SMS是垃圾短信 )

      =P (SMS包含“driving”| SMS是垃圾短信 )

      ×P (SMS包含“cant”| SMS是垃圾短信 )

      ×P (SMS包含“txt”| SMS是垃圾短信 )

对以上公式,借用一点点贝叶斯定理的“柔道”翻身之术,可以得到如下结果:

638e9cee0a4404ace397f29263ba24cd72d5f0b9

从根本上,我们做了如下工作:没有尝试建立完整、复杂的英语模型,而是使用简单得多的模型。想象一下,你有两个装单词的大桶,一个用于垃圾短信,另一个用于非垃圾短信,它们包含的单词所占比例不同。消息通过从其中一个桶里随机选择单词组合生成。当然,这是相当可笑的语言模型。与此同时,该模型也有一些明显的好处。更“正确”的模式可能专用于特定语言(例如需要考虑其语法和句法),因而有可能对其他语言无效。因此,从较差但对任何语言或者文档类型效果相似且容易处理的模型开始,看看它会将我们引向何方!

2.3.3 简化的文档得分

现在,我们几乎已经为编码实现分类器做好了准备。我们可以轻松求取P(SMS是垃圾短信)——训练集中垃圾短信的比例,以及P(SMS包含“X”|SMS是垃圾短信)——包含标记“X”的垃圾短信比例。

投入工作之前,先进行一些最后的调整。首先,你可能已经注意到,在垃圾短信和非垃圾短信中,冗长的贝叶斯公式都包括同一除数项——P(SMS包含“driving”“cant”“txt”)的运算。最终,我们感兴趣的是决定一条消息是垃圾短信还是非垃圾短信,而不是精确的概率。在这种情况下,我们可以去掉公共项,节约不必要的计算,简单地计算“得分”而非概率。

Score (SMS是垃圾短信|SMS包含driving、cant和txt )

           =P (SMS包含“driving”| SMS是垃圾短信 )

           ×P (SMS包含“cant”| SMS是垃圾短信 )

           ×P (SMS包含“txt”| SMS是垃圾短信 ) × P(SMS是垃圾短信 )

如果Score(垃圾短信)>Scrore(非垃圾短信),我们将把消息归类为垃圾短信。

实际上,如果我们仅需要一个得分,可以进一步解决另一个问题——与精度相关的问题。 从定义上看,从短信中任何特定标记上观察到的概率都是小于1的数字(通常接近0)。由于我们的公式包含这些概率的乘积,结果也接近0,可能造成舍入误差。

为了避免这一问题,习惯上是使用一种旧的技巧,将计算转换为对数。这方面的细节不是很重要,但正是使用这种方法的原因。因为log (a * b) = log a + log b,可以将公式从乘积转换成总和,避免了舍入问题。而且,因为对数是递增函数,通过对数转换公式将保留得分的排名。所以,我们使用如下公式代替原公式,求得消息的分数:

Score (SMS是垃圾短信 | SMS包含driving、cant和txt )=log (P ( SMS是垃圾短信 ))+

log(Laplace (SMS包含“driving”| 垃圾短信 ))+

log(Laplace (SMS包含“cant”| 垃圾短信 ))+

log(Laplace (SMS包含“txt”| 垃圾短信 ) )

在一定程度上,上式澄清了算法逻辑。每个标记都有一个非垃圾短信得分和垃圾短信得分,量化了它属于这两种情况的强度。尝试决定某个文档是不是垃圾短信时,算法首先计算垃圾短信得分——垃圾短信基准水平,每个标记都增加或者减少文档的垃圾短信得分,独立于其他标记。如果文档的垃圾短信得分最终高于非垃圾短信得分,则判定文档是垃圾短信。

相关文章
|
数据采集 机器学习/深度学习 自然语言处理
基于文心大模型套件ERNIEKit实现文本匹配算法,模块化方便应用落地
文心大模型开发套件ERNIEKit,面向NLP工程师,提供全流程大模型开发与部署工具集,端到端、全方位发挥大模型效能。
基于文心大模型套件ERNIEKit实现文本匹配算法,模块化方便应用落地
|
机器人 编译器 Go
阐述sandwich三明治机器人系统开发应用方案
阐述sandwich三明治机器人系统开发应用方案
146 0
|
机器学习/深度学习 人工智能 自然语言处理
使用AI系统 前有五大语音交互需要 你懂得的
本文,具体介绍了下面5大方面的行业实战评价指标:
|
机器学习/深度学习 自然语言处理 人机交互
|
传感器 算法 物联网
|
移动开发 物联网 开发者
一张图让你读懂鹅厂的物联网框架
本文从物联网的中心要素、物联网的关键场景、微信硬件平台的通讯协议剖析三个维度去剖析基于微信硬件平台的物联网架构。 一、基于微信硬件平台的物联网架构图 上图涵盖以下信息: 基于微信硬件平台的物联网的架构组成,有微信大众平台/硬件平台、第三方厂商云后端、手机微信/大众号、微信硬件设备终端(Wifi和蓝牙BLE)。
1818 0
|
机器人 人机交互 vr&ar
《Kinect应用开发实战:用最自然的方式与机器对话》一第1章 自然人机交互技术漫谈1.1 自然人机交互技术的发展
本节书摘来自华章出版社《Kinect应用开发实战:用最自然的方式与机器对话》一书中的第1章,第1.1节,作者 余涛,更多章节内容可以访问云栖社区“华章计算机”公众号查看
2430 0