SELECT语句中的Spark IN / EXISTS谓词

这是正确的SQL查询：

import sparkSession.implicits._

Seq("france").toDF("country").createOrReplaceTempView("countries")
Seq(("user1", "france"), ("user2", "italy"), ("user2", "usa"))
.toDF("user", "country").createOrReplaceTempView("users")

val query =
s"""

 |SELECT
 |  CASE
 |    WHEN u.country = 'italy' THEN 'Italy'
 |    ELSE (
 |      CASE
 |        WHEN u.country = c.country THEN upper(u.country)
 |        ELSE u.country
 |      END
 |    ) END AS country
 |FROM users u
 |LEFT JOIN countries c
 |  ON u.country = c.country

""".stripMargin
sparkSession.sql(query).show()
结果：

你IN/EXISTS只能在谓词中使用sql操作符的场景背后的原因是：投影CASE-WHEN中的逻辑（在我们的例子中）是对从选择返回的数据集中的每一行进行评估。考虑到这一点，CASE WHEN country IN (SELECT * FROM countries)从users表中为每一行运行等效的并不是最好的主意。因此，SQL在语言级别（sql解析器引擎）上阻止了这种情况。