Streampark使用体验与建议

01 引言

本文为Streampark的阅读笔记，旨在快速了解该项目的功能、用法等。

Streapark是 流处理极速开发框架，支持流批一体 & 湖仓一体的云原生平台，一站式流处理计算平台。

相关资料如下：

• 文档地址：https://streampark.apache.org/
• Github：https://github.com/apache/incubator-streampark

02 功能界面

安装教程可以参考：

• https://streampark.apache.org/zh-CN/docs/user-guide/deployment

如果是docker下安装，可以参考博主之前写的博客：

• 《docker下安装与配置streampark》

2.1 系统管理页面

系统管理页面似乎和我们普通的管理系统没什么区别，，主要就是做隔离和权限控制。这里不再细讲，直接贴图：

2.2 设置中心

2.2.1 界面

设置中心主要分为了如下几类：

分类	截图
系统设置
告警设置
flink版本
flink集群
扩展链接
yarn队列

2.2.2 功能描述

功能描述：

2.3 Streampark（核心）

Streampark模块是最核心的部分，前面的配置都为它做基础，我们来看看其界面。

2.3.1 界面

分类	截图
项目管理
作业管理
变量管理

2.3.2 功能描述

03 环境

使用docker安装，一键式部署，很容易忽略了其环境，我们看看项目里面的 DockerFile 的内容，便知道整个镜像用到了什么环境了，里面已添加注释。

# Step1. 把当前项目生成的安装包复制到基础镜像的当前目录
FROM alpine:3.16 as deps-stage
COPY . /
WORKDIR /
RUN tar zxvf dist/apache-streampark*-*-bin.tar.gz \
&& mv apache-streampark*-*-bin streampark
FROM docker:dind
WORKDIR /streampark
COPY --from=deps-stage /streampark /streampark
ENV NODE_VERSION=16.1.0
ENV NPM_VERSION=7.11.2
# Step2. 镜像安装jdk、maven、以及插件（wget、vim、bash、curl）
RUN apk add openjdk8 \
    && apk add maven \
    && apk add wget \
    && apk add vim \
    && apk add bash \
    && apk add curl
# Step3. Export环境变量（JAVA_HOME、MAVEN_HOME）
ENV JAVA_HOME=/usr/lib/jvm/java-1.8-openjdk
ENV MAVEN_HOME=/usr/share/java/maven-3
ENV PATH $JAVA_HOME/bin:$PATH
ENV PATH $MAVEN_HOME/bin:$PATH
# Step4. 下载前端环境（nodejs）、kubectl命令工具并把它们复制到bin目录，直接就能使用
RUN wget "https://nodejs.org/dist/v$NODE_VERSION/node-v$NODE_VERSION-linux-x64.tar.gz" \
    && tar zxvf "node-v$NODE_VERSION-linux-x64.tar.gz" -C /usr/local --strip-components=1 \
    && rm "node-v$NODE_VERSION-linux-x64.tar.gz" \
    && ln -s /usr/local/bin/node /usr/local/bin/nodejs \
    && curl -LO https://dl.k8s.io/release/v1.23.0/bin/linux/amd64/kubectl \
    && install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl
# Step5. 创建kube目录，主要用于存放认证config
RUN mkdir -p ~/.kube
EXPOSE 10000

也就是streampark的镜像，里面已经包含了jdk、nodejs、maven等环境了，就是官网的截图：

04 评价与建议

总体来说，Streampark功能是挺全的，也使用了不少的技术，它拆分之后的自我描述如下：

• 让流处理更简单, 使用StreamPark开发;
• 可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务;
• StreamPark 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式;
• 提供了一系列开箱即用的Connectors;
• 标准化了配置、开发、测试、部署、监控、运维的整个过程;
• 提供了scala和java两套api；
• 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。

个人使用之后，如果能在以下方面能做得更好，就很nice了：

• hadoop集群可支持多个，不要写死，指的是界面可以上传，做集群测试，但是可能要安装多一个oss服务；
• flink版本也支持多个，指的是界面可以上传sdk，当然也可以指定链接下载解压；
• 监控这块不是很明确，目前是通过外链的形式，如果能再集成多一个Prometheus这套就更完美了，因为这已经是监控标准了；
• 作业管理，Custom Code模式似乎不支持依赖jar的添加，一般打的包都是源码的，如果是shade打包方式，类容易出现无法加载的问题；
• jar没有做统一管理（如：connector、format、catalog等），即使flnk sql模式依赖了jar，写代码时也没有自动补全；
• 提交作业到yarn，kerberos认证不知道怎么处理，需要配置哪些参数（如：krb5.conf、keytab、principal等要放到哪）；
• k8s部署方式，多实例处理；
• 。。。。。。。

05 文末

以上是博主对Streampark使用的初体验，难免会有一些纰漏错误之处，欢迎大家的评论与留言，谢谢大家的阅读，本文完！