根据值将RDD拆分为多个RDD而不执行`collect()`和`filter()`[duplicate]-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

根据值将RDD拆分为多个RDD而不执行`collect()`和`filter()`[duplicate]

社区小助手 2018-12-06 15:27:45 3239

我想基于行中的值将RDD拆分为多个RDD。行中的值是预先知道的并且本质上是固定的。

例如

source_rdd = sc.parallelize([('a',1),('a',2),('a',3),('b',4),('b',5),('b',6)])
应该分成两个RDD,一个只a包含一个,另一个只包含b作为键

我已经尝试过groupByKey方法,并且能够在collect()对分组RDD 执行操作后成功完成,由于内存限制,我无法在生产中执行此操作
a_rdd, b_rdd = source_rdd.keyBy(lambda row: row[0]).groupByKey().collect()
当前的实现是应用多个过滤操作来获得每个RDD
a_rdd = source_rdd.filter(lambda row: row[0] == 'a')
b_rdd = source_rdd.filter(lambda row: row[0] == 'b')
这可以进一步优化,在生产中使用不适合内存的数据的最佳方法是什么?

用法:这些RDD将被转换为不同的数据帧(每个键一个),每个数据帧具有不同的模式,并作为输出存储在S3中。

存储 分布式计算
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:18:33

    你也可以用toDF。Aslo,a_rdd并且b_rdd不在rdd您的代码中,因为它们被收集!

    df = source_rdd.keyBy(lambda row: row[0]).groupByKey()
    a_rdd = df.filter(lambda row: row[0] == 'a')
    b_rdd = df.filter(lambda row: row[0] == 'b')

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题