开发者社区> 问答> 正文

sparkpipe与pyspark都能实现利用spark的集群做分布式计算么?有什么区别?

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

展开
收起
新闻小助手 2019-08-15 19:26:43 853 0
1 条回答
写回答
取消 提交回答
  • Spark是一种通用的大数据计算框架,相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark 使用了内存内运算技术,能在数据尚未写入硬盘时即在内存内分析运算。 Spark包含了大数据领域常见的各种计算框架: 比如Spark Core用于离线计算,Spark SQL用于交互式查询,Spark Streaming用于实时流式计算,Spark MLlib用于机器学习,Spark GraphX用于图计算。
    

    来源于网络,供您参考,如若满意,请点击右侧【采纳答案】,如若还有问题,请点击【追问】 希望我的回答对您有所帮助,望采纳! ~ O(∩_∩)O~

    2019-10-18 10:37:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于社区的分布式 风险感知模型 立即下载
如何利用Redisson分布式化传统Web项目 立即下载
FLASH:大规模分布式图计算引擎及应用 立即下载

相关实验场景

更多