我有一个文本文件,格式如下(id,f1,f2,f3,...,fn):
12345,0,0,1,2,...,3
23456,0,0,1,2,...,0
33333,0,1,1,0,...,0
56789,1,0,0,0,...,4
a_123,0,0,0,6,...,3
我想要读取文件(忽略线条a_123,0,0,0,6,...,3)来创建一个RDD[(Long, Vector)。这是我的解决方案:
def readDataset(path: String, sparkSession: SparkSession): RDD[(ItemId, Vector)] = {
val sc = sparkSession.sparkContext
sc.textFile(path)
.map({ line => val values=line.split(",")
(
values(0).toLong,
//util.Try(values(0).toLong).getOrElse(0L),
Vectors.dense(values.slice(1, values.length).map {x => x.toDouble }).toSparse
)})
.filter(x => x._1 > 0)
}
但是这段代码无法编译:
[ERROR] found : org.apache.spark.rdd.RDD[(Long, org.apache.spark.ml.linalg.SparseVector)]
[ERROR] required: org.apache.spark.rdd.RDD[(Long, org.apache.spark.ml.linalg.Vector)]
[ERROR] (which expands to) org.apache.spark.rdd.RDD[(Long, org.apache.spark.ml.linalg.Vector)]
[ERROR] Note: (Long, org.apache.spark.ml.linalg.SparseVector) <: (Long, org.apache.spark.ml.linalg.Vector), but class RDD is invariant in type T.
[ERROR] You may wish to define T as +T instead. (SLS 4.5)
[ERROR] .filter(x => x._1 > 0)
[ERROR] ^
[ERROR] one error found
但是,如果我删除. toSparse或.filter(x => x._1 > 0)此代码可以成功编译。
有人知道为什么以及我该怎么做才能解决它?
还有没有更好的方法来读取文件到RDD忽略非数字id行?
如果删除代码编译成功toSparse,因为类型PairRDD是(ItemId, Vector)。
在org.apache.spark.ml.linalg.Vector类/类型来表示您正在使用生成密集向量Vector.dense,当你调用toSparse它被转换成org.apache.spark.ml.linalg.SparseVector这是不是你的PairRDD期望的类型。
至于过滤非整数ID我会说你的方法是一个很好的方法。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。