Spark修炼之道(高级篇)——Spark源码阅读:第十节 Standalone运行模式解析
Spark Standalone采用的是Master/Slave架构,主要涉及到的类包括:
类:org.apache.spark.deploy.master.Master
说明:负责整个集群的资源调度及Application的管理。
消息类型:
接收Worker发送的消息
1. RegisterWorker
2. ExecutorStateChanged
3. Work
无编码利用协同算法实现个性化推荐
根据昨天的URL上报数据生成ALS模型。之后将模型加载到流式计算中,对实时URL的访问用户进行内容推荐。整个流程只需要你写写SQL(做解析),弄弄配置就搞定。
云桌面远程办公
员工通过公网直接登录到云桌面实例(有公网访问权限)进行远程办公,云桌面客户端具有一定加密和安全传输能力。