开发者社区> 问答> 正文

如何检查Spark是否正在使用OpenBlas?

我最近下载并构建了Spark 2.3.1。我使用这些命令下载并选择版本2.3.1

git clone https://github.com/apache/spark.git
cd spark git checkout tags/v2.3.1 我希望改善我的应用程序的性能,并遇到了建议更新OpenBLAS的分布式版本的文章,因此在构建spark时我使用了-Pnetlib-lgpl安装选项netlib-java。

这是我使用的命令。

build/mvn -Pyarn -Phive -Phive-thriftserver -DskipTests -Pnetlib-lgpl clean package 我怎么知道/确保spark现在使用我用上面的命令安装的netlib-java中的OpenBLAS而不是使用Ubuntu分发的那个?此外,是正确的方式来更新OpenBLAS或我错过了什么?

PS

我运行以下命令以查看它是否已正确安装

import com.github.fommil.netlib.BLAS com.github.fommil.netlib.NativeSystemBLAS 我使用以下链接

sudo update-alternatives --display liblapack.so sudo update-alternatives --install /usr/lib64/libblas.so libblas.so /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/libblas.so.3 libblas.so.3 /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/liblapack.so liblapack.so /usr/lib64/atlas/libtatlas.so.3 1000 sudo update-alternatives --install /usr/lib64/liblapack.so.3 liblapack.so.3 /usr/lib64/atlas/libtatlas.so.3 1000 我正在使用Ubuntu

Distributor ID: Ubuntu Description: Ubuntu 16.04.3 LTS Release: 16.04 Codename: xenial

展开
收起
被纵养的懒猫 2019-09-17 16:53:06 848 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
Spark SQL: Another 16x faster aFer Tungsten SPARC processor has drama1c advantages over x86 on Apache Spark 立即下载
Speeding up Spark with Data Co 立即下载
Spark on Supercomputers: A Tal 立即下载