《Scala机器学习》一一3.3 应用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本节书摘来自华章出版社《Scala机器学习》一 书中的第3章,第3.3节,作者:[美] 亚历克斯·科兹洛夫(Alex Kozlov)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.3 应用
下面会介绍Spark/Scala中的一些实际示例和库,具体会从一个非常经典的单词计数问题开始。
3.3.1 单词计数
大多数现代机器学习算法需要多次传递数据。如果数据能存放在单台机器的内存中,则该数据会容易获得,并且不会呈现性能瓶颈。如果数据太大,单台机器的内存容纳不下,则可保存在磁盘(或数据库)上,这样虽然可得到更大的存储空间,但存取速度大约会降为原来的1/100。另外还有一种方式就是分割数据集,将其存储在网络中的多台机器上,并通过网络来传输结果。虽然对这种方式仍有争议,但分析表明,对于大多数实际系统而言,如果能有效地在多个CPU之间拆分工作负载,则通过一组网络连接节点存储数据比从单个节点上的硬盘重复存储和读取数据略有优势。
磁盘的平均带宽约为100 MB/s,由于磁盘的转速和缓存不同,其传输时会有几毫秒的延迟。相对于直接从内存中读取数据,速度要降为原来的1/100左右,当然,这也会取决于数据大小和缓存的实现。现代数据总线可以超过10 GB/s的速度传输数据。而网络速度仍然落后于直接的内存访问,特别是标准网络层中TCP/IP内核的开销会对网络速度影响很大。但专用硬件可以达到每秒几十吉字节,如果并行运行,则可能和从内存读取一样快。当前的网络传输速度介于1~10 GB/s之间,但在实际应用中仍然比磁盘更快。因此,可以将数据分配到集群节点中所有机器的内存中,并在集群上执行迭代机器学习算法。
但内存也有一个问题:在节点出现故障并重新启动后,内存中的数据不会跨节点持久保存。一个流行的大数据框架Hadoop解决了这个问题。Hadoop受益于Dean/Ghemawat的论文(Jeff Dean和Sanjay Ghemawat, MapReduce: Simplified Data Processing on Large Clusters, OSDI, 2004.),这篇文章提出使用磁盘层持久性来保证容错和存储中间结果。Hadoop MapReduce程序首先会在数据集的每一行上运行map函数,得到一个或多个键/值对。然后按键值对这些键/值对进行排序、分组和聚合,使得具有相同键的记录最终会在同一个reducer上处理,该reducer可能在一个(或多个)节点上运行。reducer会使用一个reduce函数,遍历同一个键对应的所有值,并将它们聚合在一起。如果reducer因为一些原因失败,由于其中间结果持久保存,则可以丢弃部分计算,然后可从检查点保存的结果重新开始reduce计算。很多简单的类ETL应用程序仅在保留非常少的状态信息的情况下才遍历数据集,这些状态信息是从一个记录到另一个记录的。
单词计数是MapReduce的经典应用程序。该程序可统计文档中每个单词的出现次数。在Scala中,对排好序的单词列表采用foldLeft方法,很容易得到单词计数。
image

如果运行这个程序,会输出(字,计数)这样的元组列表。该程序会按行来分词,并对得到的单词排序,然后将每个单词与(字,计数)元组列表中的最新条目(entry)进行匹配。同样的计算在MapReduce中会表示成如下形式:
image

首先需要按行处理文本,将行拆分成单词,并生成(word,1)对。这个任务很容易并行化。为了并行化全局计数,需对计数部分进行划分,具体的分解通过对单词子集分配计数任务来实现。在Hadoop中需计算单词的哈希值,并根据哈希值来划分工作。
一旦map任务找到给定哈希的所有条目,它就可以将键/值对发送到reducer,在MapReduce中,发送部分通常称为shuffle。从所有mapper中接收完所有的键/值对后,reducer才会组合这些值(如果可能,在mapper中也可部分组合这些值),并对整个聚合进行计算,在这种情况下只进行求和。单个reducer将查看给定单词的所有值。
下面介绍Spark中单词计数程序的日志输出(Spark在默认情况下输出的日志会非常冗长,为了输出关键的日志信息,可将conf /log4j.properties文件中的INFO替换为ERROR或FATAL):
image

这个过程发生的唯一的事情是元数据操作,Spark不会触及数据本身,它会估计数据集的大小和分区数。默认情况下是HDFS块数,但是可使用minPartitions参数明确指定最小分区数:
image

下面定义另一个RDD,它源于linesRdd:
image

在2 GB的文本数据(共有40 291行,353 087个单词)上执行单词计算程序时,进行读取、分词和按词分组所花的时间不到1秒。通过扩展日志记录可看到以下内容:
Spark打开几个端口与执行器和用户通信
Spark UI运行的端口为4040(可通过http://localhost: 4040打开)
可从本地或分布式存储(HDFS、Cassandra和S3)中读取文件
如果Spark构建时支持Hive,它会连接到Hive上
Spark使用惰性求值(仅当输出请求时)来执行管道
Spark使用内部调度器将作业拆分为任务,优化执行任务,然后执行它们
结果存储在RDD中,可用集合方法来保存或导入到执行shell的节点的RAM中
并行性能调整的原则是在不同节点或线程之间分割工作负载,使得开销相对较小,而且要保持负载平衡。
3.3.2 基于流的单词计数
Spark支持对输入流进行监听,能对其进行分区,并以接近实时的方式来计算聚合。目前支持来自Kafka、Flume、HDFS/S3、Kinesis、Twitter,以及传统的MQ(如ZeroMQ和MQTT)的数据流。在Spark中,流的传输是以小批量(micro-batch)方式进行的。在Spark内部会将输入数据分成小批量,通常按大小的不同,有些所花的时间不到1秒,有些却要几分钟,然后会对这些小批量数据执行RDD聚合操作。
下面扩展前面介绍的Flume示例。这需要修改Flume配置文件来创建一个Spark轮询槽(polling sink),用这种槽来替代HDFS:
image

现在不用写入HDFS,Flume将会等待Spark的轮询数据:
image

为了运行程序,在一个窗口中启动Flume代理:
image

然后在另一个窗口运行FlumeWordCount对象:
image

现在任何输入到netcat连接的文本都将被分词并在6秒的滑动窗口上按每2秒计算单词的量:
image
image

Spark/Scala允许在不同的流之间无缝切换。例如,Kafka发布/订阅主题模型类似于如下形式:
image
image

要启动Kafka代理,首先下载最新发布的二进制包并启动ZooKeeper。ZooKeeper是一个分布式服务协调器,即使Kafka部署在单节点上也需要它:
image

在另一个窗口中启动Kafka服务器:
image

运行KafkaWordCount对象:
image

现在将单词流发布到Kafka主题中,这需要再开启一个计数窗口:
image

从上面的结果可以看出程序每两秒输出一次。Spark流有时被称为小批次处理(micro-batch processing)。数据流有许多其他应用程序(和框架),但要完全讨论清楚会涉及很多内容,因此需要单独进行介绍。在第5章会讨论一些数据流上的机器学习问题。下面将介绍更传统的类SQL接口。
3.3.3 Spark SQL和数据框
数据框(Data Frame)相对较新,在Spark的1.3版本中才引入,它允许人们使用标准的SQL语言来分析数据。在第1章就使用了一些SQL命令来进行数据分析。SQL对于简单的数据分析和聚合非常有用。
最新的调查结果表明大约有70%的Spark用户使用DataFrame。虽然DataFrame最近成为表格数据最流行的工作框架,但它是一个相对重量级的对象。DataFrame使用的管道在执行速度上可能比基于Scala的vector或LabeledPoint(这两个对象将在下一章讨论)的速度慢得多。来自多名开发人员的证据表明:响应时间可为几十或几百毫秒,这与具体查询有关,若是更简单的对象会小于1毫秒。
Spark为SQL实现了自己的shell,这是除标准Scala REPL shell以外的另一个shell。可通过./bin/spark-sql来运行该shell,还可通过这种shell来访问Hive/Impala或关系数据库表:
image

在标准Spark的REPL中,可以通过运行相同的查询来执行以下命令:image

相关文章
|
25天前
|
机器学习/深度学习 数据采集 算法
深入了解机器学习:从入门到应用
【10月更文挑战第6天】深入了解机器学习:从入门到应用
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习在医疗诊断中的应用
【9月更文挑战第32天】随着科技的不断发展,人工智能和机器学习已经在许多领域得到了广泛应用。在医疗领域,它们正在改变着医生和患者的生活。通过分析大量的医疗数据,AI可以帮助医生更准确地诊断疾病,预测患者的病情发展,并提供个性化的治疗方案。本文将探讨人工智能和机器学习在医疗诊断中的具体应用,包括图像识别、自然语言处理和预测分析等方面。我们还将讨论AI技术面临的挑战和未来的发展趋势。
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术,为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档,实现高效数据核验与合规性检查,显著提升审查速度和精准度,同时保障敏感信息管理和数据安全。
27 11
|
2天前
|
机器学习/深度学习 数据采集 运维
智能化运维:机器学习在故障预测和自动化响应中的应用
智能化运维:机器学习在故障预测和自动化响应中的应用
16 4
|
3天前
|
机器学习/深度学习 TensorFlow API
机器学习实战:TensorFlow在图像识别中的应用探索
【10月更文挑战第28天】随着深度学习技术的发展,图像识别取得了显著进步。TensorFlow作为Google开源的机器学习框架,凭借其强大的功能和灵活的API,在图像识别任务中广泛应用。本文通过实战案例,探讨TensorFlow在图像识别中的优势与挑战,展示如何使用TensorFlow构建和训练卷积神经网络(CNN),并评估模型的性能。尽管面临学习曲线和资源消耗等挑战,TensorFlow仍展现出广阔的应用前景。
17 5
|
22天前
|
机器学习/深度学习 数据采集 数据挖掘
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正的因果关系和简单的统计相关性。这种方法在需要理解干预效果的领域尤为重要,如经济学、医学和市场营销。
48 1
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
|
26天前
|
机器学习/深度学习 自然语言处理 JavaScript
信息论、机器学习的核心概念:熵、KL散度、JS散度和Renyi散度的深度解析及应用
在信息论、机器学习和统计学领域中,KL散度(Kullback-Leibler散度)是量化概率分布差异的关键概念。本文深入探讨了KL散度及其相关概念,包括Jensen-Shannon散度和Renyi散度。KL散度用于衡量两个概率分布之间的差异,而Jensen-Shannon散度则提供了一种对称的度量方式。Renyi散度通过可调参数α,提供了更灵活的散度度量。这些概念不仅在理论研究中至关重要,在实际应用中也广泛用于数据压缩、变分自编码器、强化学习等领域。通过分析电子商务中的数据漂移实例,展示了这些散度指标在捕捉数据分布变化方面的独特优势,为企业提供了数据驱动的决策支持。
47 2
信息论、机器学习的核心概念:熵、KL散度、JS散度和Renyi散度的深度解析及应用
|
26天前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】大模型驱动下的医疗诊断应用
摘要: 随着科技的不断发展,机器学习在医疗领域的应用日益广泛。特别是在大模型的驱动下,机器学习为医疗诊断带来了革命性的变化。本文详细探讨了机器学习在医疗诊断中的应用,包括疾病预测、图像识别、基因分析等方面,并结合实际案例进行分析。同时,还展示了部分相关的代码示例,以更好地理解其工作原理。
34 3
【机器学习】大模型驱动下的医疗诊断应用
|
10天前
|
机器学习/深度学习 数据采集 人工智能
R语言是一种强大的编程语言,广泛应用于统计分析、数据可视化、机器学习等领域
R语言是一种广泛应用于统计分析、数据可视化及机器学习的强大编程语言。本文为初学者提供了一份使用R语言进行机器学习的入门指南,涵盖R语言简介、安装配置、基本操作、常用机器学习库介绍及实例演示,帮助读者快速掌握R语言在机器学习领域的应用。
33 3
|
10天前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
27 2

热门文章

最新文章