Spark

首页 标签 Spark
# Spark #
关注
9105内容
协同过滤算法 R/mapreduce/spark mllib多语言实现
用户电影评分数据集下载 http://grouplens.org/datasets/movielens/ 1) Item-Based,非个性化的,每个人看到的都一样2) User-Based,个性化的,每个人看到的不一样对用户的行为分析得到用户的喜好后,可以根据用户的喜好计算相似用户和物品,然后可以基于相似用户或物品进行推荐。这就是协同过滤中的两个分支了,基于用户的和基于物品的协同过滤。
【Spark Summit EU 2016】TPC-DS基准测试下的Spark SQL2.0使用体验
本讲义出自Berni Schiefer在Spark Summit EU上的演讲,目前而言Spark SQL发展演进的速度非常迅猛,但是大多数情况下还是部署在传统的Hadoop集群上,为了尝试将Spark SQL使用在专为Spark设置的集群上,Berni Schiefer使用了最新版本的Spark SQL应对企业级标准的工作负载。
Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望
阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。
Spark修炼之道(进阶篇)——Spark入门到精通:第七节 Spark运行原理
作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond 本节主要内容 Spark运行方式 Spark运行原理解析 本节内容及部分图片来自: http://blog.csdn.net/book_mmicky/article/details/25714419 http://blog.csdn.net/yirenboy/article/detai
【Spark Summit EU 2016】60 TB+数据规模的Spark产品用例
本讲义出自Sital Kedia在Spark Summit EU上的演讲,主要介绍了60 TB+数据规模的Spark产品用例,他在开始时首先介绍了实体排序的用例,然后介绍之前使用Hive进行的实现以及现在使用Spark的实现方式,并对于两种实现方式进行了对比。
【Spark Summit East 2017】Kafka、YARN与Spark Streaming作为一个服务
本讲义出自Jim Dowling在Spark Summit East 2017上的演讲,主要介绍了在容易进行调试的YARN上构建多租户Spark streaming应用程序的过程中遇到的挑战,并展示了如何使用ELK技术栈对Spark streaming应用程序进行日志记录和调试,以及如何使用Graphana和Graphite对应用进行监控以及优化以及使用Dr Elephant终止Spark streaming任务。
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级,当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.
【Spark Summit EU 2016】MLeap + Combust.ML:帮你直接将Spark Pipelines部署到生产环境
本讲义出自Mikhail Semeniuk与Hollin Wilkins在Spark Summit EU上的演讲,主要介绍了如何通过MLeap + Combust.ML帮助开发者直接将Spark Pipelines部署到生产环境上去。
免费试用