Spark和页面交互，如何显示结果
如题，spark集群搭建好，如何通过java web提交任务让spark处理，并返回结果集给页面显示。可以通过哪些技术实现？？？有没有实践过的，分享一下经验或者思路。想达到的效果是，通过页面一个按钮，spark处理数据，然后页面显示结果
展开
收起
1
条回答
写回答
写回答
-
Spark 运行算子的原理是这样的.
首先,会把自己开发的算子(就是java类或者scala类所在的jar)分发到分配的节点上去,当client执行一系列操作的时候,其实是相关的算子发送到各个节点去执行,client本地其实不运行,计算运算完成以后,将结果返回给client.您只需要把您的web项目当成client就可以实现这个功能.sparl 本身也提供api,支持在代码中提交任务.原理就是把本地的算子直接上传到集群,集群在分发到分配的节点上去.
当然这种需求往往是想利用Spark做实时计算,其实有点偏离Spark的初衷, Spark其实还是一个离线任务运行的工具.并不适合提交大量的任务上去运行(并发比较高的场景).
可以
2019-07-17 21:17:46赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
