Apache Spark ML Pipeline：过滤数据集中的空行

你可以使用SQLTransformer：

import org.apache.spark.ml.feature.SQLTransformer

val emptyRemover = new SQLTransformer().setStatement(
"SELECT * FROM THIS WHERE size(words) > 0"
)
这个可以直接申请

val df = Seq(
("a the", Seq("the")), ("a of the", Seq()),
("big small", Seq("big", "small"))
).toDF("text", "words")

或用于Pipeline。

在Spark ML过程中使用它之前我会考虑两次。通常在下游使用的工具，例如CountVectorizer，可以很好地处理空输入：

import org.apache.spark.ml.feature.CountVectorizer

val vectorizer = new CountVectorizer()
.setInputCol("words")
.setOutputCol("features")
+---------+------------+-------------------+