Spline是Spark生态下的元数据管理和血缘追踪工具。

一、docker部署

1.1 确认docker compose已安装

1.2 安装Spline 2.0.0容器组

官方安装命令：

wget https://raw.githubusercontent.com/AbsaOSS/spline-getting-started/main/docker/docker-compose.yml
wget https://raw.githubusercontent.com/AbsaOSS/spline-getting-started/main/docker/.env
docker compose up

由于服务器不联通外网，故从github上下载docker-compose.yml和.env两个文件，放在服务器/home/xxxxx/downloads/Spline/目录下，安装命令修改为：docker compose up -d，如果需要在安装完后跑一批自带的examples，则安装命令改为：SEED=1 docker compose up -d（也可不指定SEED，时候单独新建run-examples容器来跑examples，命令：docker run 2959c59d2058 -e SEED=1，由于是容器内执行，因此案例sink的csv表格文件等也在容器内部，需要取出来看）

• compose文件定义的容器组包含5个容器：

• rest-server： spline的核心。它通过 Producer API接收来自agent的血缘数据，并将其存储在 ArangoDB 中。另一方面，它为读取和查询血缘数据提供了 Consumer API。消费者 API 由spline UI 使用，但也可以由第三方应用程序使用。

• ps. 血缘数据除了可通过自带的 Producer API和Consumer API来传输，也可通过配置Kafka，走Kafka通道传输。（未测试）

• arangodb：一款多模型数据库。
• ui：查看数据血缘DAG图、查看数据源、查看Spark任务执行结果的WEB服务。

db-init：数据库初始化用，执行后自动退出。

• run-examples：官方自带示例程序，安装完后跑一批自带的examples。

另外，由于服务器不连外网，需要把compose文件的镜像下载来源改成自建的harbor库harbor.xxxxx.com，

• . env是环境变量配置文件，与compose文件搭配使用，需添加一条配置：DOCKER_HOST_EXTERNAL=192.168.xxx.xxx，此举是为了保证能在内网其他服务器上访问Spline各组件的web服务。.env中也指定了spline-server的安装版本为2.0.0
• 停止容器组命令：docker compose stop，启动容器组：docker compose start。

安装结果：

二、测试Pyspark血缘捕获

• 测试脚本及数据放在服务器/home/xxxxx/xxxx/目录下
• pyspark位置：/opt/spark/bin/，pyspark是Spark的Python接口，提供了对Spark功能的访问，它需要通过Py4J库与Spark JVM进程进行通信。
• 测试主机：102.168.xxx.xxx
• 测试环境：Spark 2.4，Scala 2.11，pysthon 3.5.1

• 确保Spark环境正常：先cd到/usr/local/spark，然后执行命令./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
• 确保pyspark环境正常：检查~/.bashrc系统环境变量文件，确保python路径（which python）设置正确。然后执行pyspark，进入python界面，正常。

2.1 spark-summit方式

• 由于服务器不连外网，启用Spline血缘追踪需要Spark主机包含部分Spline相关的依赖jar包（spline agent），需要在执行命令时指定依赖的Maven下载仓库为自建nexus仓库；或者在执行测试前，修改spark-default.conf，末尾添加spark.jars.repositories https://maven.aliyun.com/repository/public，永久性生效。
  
• spline agent：是配置于测试主机上的spline代理，spline agent从Spark任务的数据转换管道中沿途捕获沿血缘和元数据，并通过使用 HTTP API (称为 Producer API) ，以标准格式将其发送到spline server。

• 在生产环境中，最好将spline agent配置到Spark集群的每台worker中，确保所有血缘都能追踪到。（未测试）

• 执行测试命令：

spark-submit    
--class org.apache.spark.deploy.PythonRunner   
--master local     #按需配置
--packages  za.co.absa.spline.agent.spark:spark-2.4-spline-agent-bundle_2.11:2.0.0     
--repositories  http://nexus.bglab.com/repository/maven-public/     
--conf  "spark.sql.queryExecutionListeners=za.co.absa.spline.harvester.listener.SplineQueryExecutionListener"     
--conf  "spark.spline.producer.url=http://192.168.100.108:8080/producer"   
python_example.py

• 注：上面的2.4是Spark版本，2.11是Scala版本，2.0.0是Spline版本，需要与实际测试环境严格一致，否则会报错，会测试失败。
• 遇到的问题1：Hive相关导致报错——如果Spark确定用不到Hive，那就在session.py代码里面把Hive禁用掉。
  

结果

2.2 pyspark方式（未测试）

pyspark 
--master local 
--packages za.co.absa.spline.agent.spark:spark-2.4-spline-agent-bundle_2.11:2.0.0 
--repositories http://nexus.bglab.com/repository/maven-public/ 
--conf "spark.sql.queryExecutionListeners=za.co.absa.spline.harvester.listene r.SplineQueryExecutionListener" 
--conf "spark.spline.producer.url=http://192.168.100.108:8080/producer"

测试前，可能需要先pip安装spline_agent-0.1.2-py3-none-any.whl

四、展望

本次测试方式是以原生方式跑pyspark任务，后续可在DolphinScheduler上测试Spark SQL任务，测试ok后，再将轻量化平台上各Spark任务以非侵入式方式启用血缘追踪，数据发到spline-server。

三、参考资料

1. 0.7 | spline (absaoss.github.io)