我应该使用哪种转换来将map缩减为每行最小值的项目？
使用pyspark，将map缩减为每行最小值的项目的最佳方法是什么？
在下面的示例中，我只想采取先发生的操作：
示例数据帧：
| Name | Actions |
|---|---|
| Alice | {1978:'aaa',1981:'bbb'} |
| Jack | {1999:'xxx',1988:'yyy'} |
| Bill | {1992:'zzz'} |
期望的DF：
| Name | Actions |
|---|---|
| Alice | {1978:'aaa'} |
| Jack | {1988:'yyy'} |
| Bill | {1992:'zzz'} |
展开
收起
1
条回答
写回答
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。使用map_keys和转换为数组map_values：
from pyspark.sql.functions import *
df = spark.createDataFrame([("Name", {1978: 'aaa', 1981: 'bbb'})], ("Name", "Actions"))
df_array = df.select(
"Name", map_keys("Actions").alias("keys"), map_values("Actions").alias("values"))
两者结合arrays_zip，排序array_sort：df_array_sorted = df_array.withColumn("sorted", arrays_zip("keys", "values"))
取第一个元素并转换回map map_from_entriesdf_array_sorted.select("Name", map_from_entries(array(col("sorted")[0])).alias("Actions")).show()
+----+-------------+
|Name| Actions|
+----+-------------+
|Name|[1981 -> bbb]|
+----+-------------+
2019-07-17 23:18:34赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
