【Spark Summit East 2017】提升Python与Spark的性能和互操作性
本讲义出自Wes McKinney在Spark Summit East 2017上的演讲，对于使用Python编程以及并行化和扩大数据处理方面，Spark已成为一个受欢迎和成功的框架，但是在很多案例中，使用PySpark的任务处理要比使用Scala编写的效率差，而且在Python环境与Spark主机之间推拉数据也将增加开销，本次演讲将验证和分析使用一些Python库进行序列化以及互操作性问题。
使用Spark框架中文分词统计
技术
Spark+中文分词
算法
对爬取的网站文章的关键词进行统计，是进行主题分类，判断相似性的一个基础步骤。例如，一篇文章大量出现“风景”和“酒店”之类的词语，那么这篇文章归类为“旅游”类的概率就比较大。
Machine Learning on Spark——第四节 统计基础（二)
作者：周志湖
微信号：zhouzhihubeyond
本节主要内容
Correlation 相关性分析
分层采样（Stratified sampling）
随机数据生成（Random data generation）
1. Correlation 相关性分析
相关性分析用于研究两个随机变量之间的依赖关系，它是统计学当中的一种十分重要的方法，在Spark中只实现
