大数据hadoop从入门到精通之hadoop家族产品
作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起,一次安装搞定所有,那对于新手来说将是件多么美妙的事情!
HBase实操 | 使用Spark通过BulkLoad快速导入数据到HBase
HBase社区直播本期分享专家:明惠(网名:过往记忆)-阿里云数据架构师
视频地址:
https://yq.aliyun.com/live/590?spm=a2c4e.11155435.0.0.460177969kCLxf
PPT地址:
https://yq.aliyun.com/download/3033
PS:欢迎关注HBase+Spark团队号 https://yq.aliyun.com/teams/382 博客,问答,直播,各类HBase资料,线下meetup都会发布到这里。
【Spark Summit East 2017】提升Python与Spark的性能和互操作性
本讲义出自Wes McKinney在Spark Summit East 2017上的演讲,对于使用Python编程以及并行化和扩大数据处理方面,Spark已成为一个受欢迎和成功的框架,但是在很多案例中,使用PySpark的任务处理要比使用Scala编写的效率差,而且在Python环境与Spark主机之间推拉数据也将增加开销,本次演讲将验证和分析使用一些Python库进行序列化以及互操作性问题。
使用Spark框架中文分词统计
技术
Spark+中文分词
算法
对爬取的网站文章的关键词进行统计,是进行主题分类,判断相似性的一个基础步骤。例如,一篇文章大量出现“风景”和“酒店”之类的词语,那么这篇文章归类为“旅游”类的概率就比较大。
Machine Learning on Spark——第四节 统计基础(二)
作者:周志湖
微信号:zhouzhihubeyond
本节主要内容
Correlation 相关性分析
分层采样(Stratified sampling)
随机数据生成(Random data generation)
1. Correlation 相关性分析
相关性分析用于研究两个随机变量之间的依赖关系,它是统计学当中的一种十分重要的方法,在Spark中只实现