如何在 Flink 集群部署 Alink?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Kubernetes 集群。

作者:杨旭(品数),阿里巴巴资深技术专家

在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Kubernetes 集群。

获取集群部署所需 Jar 包

由于 Alink 可以通过 Java 和 Python 两种方式提交,建议在集群部署的时候将相关 Jar 包一起部署上去。Alink 虽然没有单独提供集群部署 Jar 包的下载,但是所需 Jar 包与 PyAlink 所用的相同。所以可以从 PyAlink 的安装 whl 包中获取。具体方式如下:

1.下载 PyAlink 1.10 的 whl 包,相关链接:

https://github.com/alibaba/Alink/releases/tag/v1.1.0

2.解压 PyAlink 1.10 的 whl 包

解压后的文件结构如下图所示,在 pyalink/lib 下为集群部署所需的三个 jar 包。

1.jpg

在 Standalone 集群上部署

将前面获取的三个 Jar 包拷贝到 Flink 目录下,再启动 Flink 集群即可。

  • 在 Flink 配置中增加:classloader.resolve-order: parent-first
  • 在 flink-[版本号]目录下,运行 bin/start-cluster.sh 启动集群
  • bin/taskmanager.sh start 可以增加 TM

更多内容可以参考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html

在 Kubernetes 集群上部署

将前面获取的三个 Jar 包放置进 Docker 镜像中,并将以下三个命令添加进 DockerFile,打包镜像即可。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

使用 Flink 官方提供的部署方式,其中增加 classloader.resolve-order: parent-first 配置项。参考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

以上分享希望对你有所帮助,了解更多 Alink 上手实践文章,更多Alink技术交流可钉钉扫描下方二维码加入交流群:

Alink 开源用户群.jpg

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
8月前
|
分布式计算 资源调度 Hadoop
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
Flink安装部署{单机模式、会话模式(集群部署)、yarn模式(包含hadoop3.1.3部署)}
295 0
|
8月前
|
分布式计算 Java 网络安全
Flink独立集群部署和HA部署
场景描述 172.19.9.202 主节点 JobManager 主/从 172.19.9.201 从节点 TaskManager 主/从 172.19.9.203 从节点 TaskManager 主/从
165 0
|
资源调度 分布式计算 Kubernetes
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
🍅程序员小王的博客:程序员小王的博客 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕
3300 0
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
|
算法 Apache 流计算
《Alink:基于Apache Flink的算法平台》电子版地址
Alink:基于Apache Flink的算法平台
120 0
《Alink:基于Apache Flink的算法平台》电子版地址
|
流计算
Flink实际集群部署Standalone模式
Flink实际集群部署Standalone模式
80 0
|
机器学习/深度学习 流计算
|
资源调度 分布式计算 Kubernetes
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
flink单机部署模式,不管是学习还是开发尽量不使用,flink自带集群部署,资源管理由flink集群管理,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐开发环境测试使用,flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐生产环境使用。
Flink最全的集群部署攻略(推荐yarn实现企业级部署)
|
机器学习/深度学习 消息中间件 存储
Alink、Tensorflow on Flink 在京东的应用
京东张颖、刘露在 FFA 2021 的分享内容
Alink、Tensorflow on Flink 在京东的应用
|
SQL 算法 Java
Flink的通用算法平台Alink
Alink是基于Flink的通用算法平台,由阿里巴巴计算平台PAI团队研发
Flink的通用算法平台Alink
|
机器学习/深度学习 人工智能 自然语言处理
基于Flink的机器学习算法平台 Alink(二)推荐算法介绍
Alink在“周二开源日”的第二节分享,主要介绍了推荐算法的框架和设计细节。 内容简要: 一、Alink介绍 整体介绍 和SparkML对比 算法调用方式 二、Alink 推荐 Demo Alink推荐相关算法整体介绍 影片推荐Demo CTR点击率预估Demo Web Demo
3216 0
基于Flink的机器学习算法平台 Alink(二)推荐算法介绍