Spark学习之RDD编程(2)
Spark学习之RDD编程(2)
1. Spark中的RDD是一个不可变的分布式对象集合。
2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。
3. 创建RDD:1)读取一个外部数据集2)在驱动器程序里分发驱动器程序中的对象集合。
4. RDD支持的操作:
1)转换操作,由一个RDD生成一个新的RDD。
2)行动
Mellanox OFED2.1-X安装记录
---恢复内容开始---
1,tcl,tk,gcc-gfortran,libnl-devel依赖包
配置个163yum源
具体见博客
http://www.cnblogs.com/ruiy/p/local-yum.html
yum -y install tk tcl gcc-gfortran libnl-devel
Linux OFED-user-manual 22页
两个版本的MPI
MVAPICH(被俄亥俄俄州大学开发)
俄亥俄州教授D.K.Panda 发布了MVAPICH 1.8,支持GPU集群的通用、高性能的MPI。
Kali Linux 秘籍 第八章 密码攻击
第八章 密码攻击
作者:Willie L. Pritchett, David De Smet
译者:飞龙
协议:CC BY-NC-SA 4.0
这一章中,我们要探索一些攻击密码来获得用户账户的方式。
并行正则采样排序算法及在 Mars 中的应用
相信大家对排序算法都非常熟悉了,快速排序、堆排序、归并排序等等。如果我们想在一个很大的数据集上进行排序,能利用上多核,甚至是分布式集群,有什么办法么?
本文就介绍一种并行排序算法:并行正则采样排序算法(Parallel Sorting by Regular Sampling),简称 PSRS 算法。