在不平衡数据集的情况下加入优化

如果您可以在加入之前对文件进行bucketize，它可能会更好。否则，您还需要一个写入步骤来使用存储。

df_A.write.format('parquet')
... .bucketBy(10, 'name')
... .mode("overwrite")
... .saveAsTable('bucketed_table_A'))

df_B.write.format('parquet')
... .bucketBy(10, 'name')
... .mode("overwrite")
... .saveAsTable('bucketed_table_B'))
Bucketing允许您预先随机播放数据。dataframa_A和datafram_B都应具有相同数量的存储桶。存储桶数量的选择是一项困难的“艺术”，取决于您的数据和配置。

然后，你阅读你的bucketized数据，然后你加入“名称”。

spark.table('bucketed_table_A').join(

spark.table('bucketed_table_B'),
on='name',
how='left'

)
这样做，您将计算时间从连接步骤转移到写入/ bucketize步骤。但是做一次，然后你可以多次重复使用它。