如何检查Spark是否正在使用OpenBlas?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何检查Spark是否正在使用OpenBlas?

被纵养的懒猫 2019-09-17 16:53:06 122

我最近下载并构建了Spark 2.3.1。我使用这些命令下载并选择版本2.3.1

git clone https://github.com/apache/spark.git
cd spark git checkout tags/v2.3.1 我希望改善我的应用程序的性能,并遇到了建议更新OpenBLAS的分布式版本的文章,因此在构建spark时我使用了-Pnetlib-lgpl安装选项netlib-java。

这是我使用的命令。

build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests -Pnetlib-lgpl clean package 我怎么知道/确保spark现在使用我用上面的命令安装的netlib-java中的OpenBLAS而不是使用Ubuntu分发的那个?此外,是正确的方式来更新OpenBLAS或我错过了什么?

PS

我运行以下命令以查看它是否已正确安装

import com.github.fommil.netlib.BLAS com.github.fommil.netlib.NativeSystemBLAS 我使用以下链接

sudo update-alternatives --display liblapack.so sudo update-alternatives --install /usr/lib64/libblas.so libblas.so /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/libblas.so.3 libblas.so.3 /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/liblapack.so liblapack.so /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/liblapack.so.3 liblapack.so.3 /usr/lib64/atlas/libtatlas.so.3 1000 我正在使用Ubuntu

Distributor ID: Ubuntu Description: Ubuntu 16.04.3 LTS Release: 16.04 Codename: xenial

分布式计算 Ubuntu atlas Apache 开发工具 Spark git
分享到
取消 提交回答
全部回答(0)
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题