Apache Flink与Apache Spark可以作为大规模机器学习的平台吗? -问答-阿里云开发者社区-阿里云

开发者社区> 问问小秘> 正文

Apache Flink与Apache Spark可以作为大规模机器学习的平台吗?

2020-05-19 13:21:40 264 1

Apache Flink与Apache Spark可以作为大规模机器学习的平台吗?

谁能将Flink和Spark作为机器学习的平台进行比较?哪种算法对迭代算法更好?

取消 提交回答
全部回答(1)
  • 游客bnlxddh3fwntw
    2020-05-19 13:29:32

    Apache Spark通过循环展开执行迭代。这意味着对于每次迭代,计划并执行一组新的任务/操作员。Spark非常高效地执行了此任务,因为它非常擅长进行低延迟的任务调度(顺便说一句,Spark流使用相同的机制),并且在迭代过程中将数据缓存在内存中。因此,每次迭代都基于保存在内存中的前一次迭代的结果。在Spark中,迭代被实现为常规的for循环(请参阅Logistic回归示例)。

    Flink执行具有循环数据流的迭代程序。这意味着数据流程序(及其所有运算符)仅被调度一次,并且数据从迭代的尾部反馈到其头部。基本上,数据在一次迭代中围绕运算符循环流动。由于运算符仅被调度一次,因此他们可以在所有迭代中维持状态。Flink的API提供了两个专用的迭代运算符来指定迭代:
    1)批量迭代,在概念上类似于循环展开
    2)增量迭代。增量迭代可以显着加快某些算法的速度,因为随着迭代次数的增加,每次迭代的工作量都会减少。例如,增量迭代PageRank实现的第10个迭代比第一个迭代快得多。


    根据我在ML和数据流处理方面的经验。Flink和Spark擅长不同领域,在ML场景中它们可以互补。Flink可以胜任在线学习任务,其中我们通过消耗新事件并同时进行实时推断来不断更新局部模型。并且部分模型还可以合并基于Spark脱机的历史数据构建的预训练模型。

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123730浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120259浏览量 回答数 10

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157094浏览量 回答数 145

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118483浏览量 回答数 5

1

回答

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

孙goku 2019-07-01 15:19:09 113359浏览量 回答数 1

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121172浏览量 回答数 8

7

回答

机器学习PAI中数据视图组件怎么查看100条以后的数据

拼夕夕小马 2019-06-22 22:01:34 116650浏览量 回答数 7

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302616浏览量 回答数 249

97

回答

Redhat/CentOS一键安装web环境全攻略

xiaofanqie 2011-08-11 14:51:38 123218浏览量 回答数 97

37

回答

【云服务器教程征集令】这个六一阿里云邀您来吐槽!

fanyue88888 2012-06-01 18:55:41 113749浏览量 回答数 37
+关注
3
文章
4679
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载