Spark Group By Key to（String，Iterable <String>）-问答-阿里云开发者社区-阿里云

我试图按键将urldata分组，其中值为字符串

样本数据 ：

url_3 url_2
url_3 url_2
url_3 url_1
url_4 url_3
url_4 url_1
预期结果：

(url_3,(url_2,url_1))
(url_4,(url_3,url_1))
1）加载urldata：

Dataset lines = spark.read()

.textFile("C:/Users/91984/workspace/myApp/src/test/resources/in/urldata.txt");

2）使用空格拆分数据集

Encoder> encoder2 =

Encoders.tuple(Encoders.STRING(), Encoders.STRING());

Dataset> tupleRDD = lines.map(f->{

Tuple2<String, String> m = 
    new Tuple2<String, String>(f.split(" ")[0], f.split(" ")[1]);
return m;

},encoder2);
3）使用groupbyKey对密钥上的元组RDD数据库进行分组

KeyValueGroupedDataset> keygrpDS =

tupleRDD.groupByKey(f->f._1, Encoders.STRING());

有人可以解释一下为什么第3步中的groupByKey正在返回 KeyValueGroupedDataset>而不是KeyValueGroupedDataset>为了获得预期结果需要做什么改变。