如何从Pyspark One-vs-Rest多类分类器中获取概率-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

如何从Pyspark One-vs-Rest多类分类器中获取概率

2018-12-21 11:05:51 2373 1

Pyspark Onv-vs-Rest分类器似乎没有提供概率。有没有办法做到这一点?

我在下面添加代码。我正在添加标准的多类分类器进行比较。

from pyspark.ml.classification import LogisticRegression, OneVsRest
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

load data file.
inputData = spark.read.format("libsvm") \

.load("/data/mllib/sample_multiclass_classification_data.txt")

(train, test) = inputData.randomSplit([0.8, 0.2])

instantiate the base classifier.
lr = LogisticRegression(maxIter=10, tol=1E-6, fitIntercept=True)

instantiate the One Vs Rest Classifier.
ovr = OneVsRest(classifier=lr)

train the multiclass model.
ovrModel = ovr.fit(train)
lrm = lr.fit(train)

score the model on test data.
predictions = ovrModel.transform(test)
predictions2 = lrm.transform(test)

predictions.show(6)
predictions2.show(6)

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:18

    我认为你不能访问概率(置信度)向量,因为它需要置信度的最大值并降低置信度向量。要进行测试,您可以复制该类并对其进行修改并删除.drop(accColName)

    http://spark.apache.org/docs/2.0.1/api/python/_modules/pyspark/ml/classification.html

    output the index of the classifier with highest confidence as prediction

    labelUDF = udf(

    lambda predictions: float(max(enumerate(predictions), key=operator.itemgetter(1))[0]),
    DoubleType())
    

    output label and label metadata as prediction

    return aggregatedDataset.withColumn(

    self.getPredictionCol(), labelUDF(aggregatedDataset[accColName])).drop(accColName)
    
    0 0
相关问答

1

回答

ECS1.4 中添加了哪些分类字段?

2022-09-08 12:36:20 30浏览量 回答数 1

1

回答

pyspark如何查看打印结果

2022-09-06 23:18:26 54浏览量 回答数 1

1

回答

请问手动业务流程的 Hologress SQL组件不支持取流程参数么?

2022-06-24 12:28:19 71浏览量 回答数 1

1

回答

K8s HA Session模式下1.12.1 jobmanager 周期性 restart

2021-12-08 16:14:53 668浏览量 回答数 1

1

回答

dataframe中如何对分类变量进行one-hot编码?

2021-12-05 20:28:40 222浏览量 回答数 1

1

回答

关于JavaScript中rest参数,一个名叫rest的参数,这是正确的吗?

2021-11-22 19:28:57 131浏览量 回答数 1

1

回答

如何在JavaScript中的多维对象/数组中查找值?

2020-02-08 14:22:41 367浏览量 回答数 1

3

回答

java中的算法,一共有多少种,哪几种,怎么分类。

2018-07-22 20:03:31 3192浏览量 回答数 3

1

回答

如何设计RESTful 通过tags和分类获取文章列表?

2016-06-14 17:40:28 2049浏览量 回答数 1

3

回答

PHP中的session取不到

2013-11-04 13:43:45 6212浏览量 回答数 3
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载