如何在 Flink 集群部署 Alink?

简介: 在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Kubernetes 集群。

在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Kubernetes 集群。

获取集群部署所需 Jar 包

由于 Alink 可以通过 Java 和 Python 两种方式提交,建议在集群部署的时候将相关 Jar 包一起部署上去。Alink 虽然没有单独提供集群部署 Jar 包的下载,但是所需 Jar 包与 PyAlink 所用的相同。所以可以从 PyAlink 的安装 whl 包中获取。具体方式如下:

1.下载 PyAlink 1.10 的 whl 包,相关链接:

https://github.com/alibaba/Alink/releases/tag/v1.1.0

2.解压 PyAlink 1.10 的 whl 包

解压后的文件结构如下图所示,在 pyalink/lib 下为集群部署所需的三个 jar 包。

1.jpg

在 Standalone 集群上部署

将前面获取的三个 Jar 包拷贝到 Flink 目录下,再启动 Flink 集群即可。

  • 在 Flink 配置中增加:classloader.resolve-order: parent-first
  • 在 flink-[版本号]目录下,运行 bin/start-cluster.sh 启动集群
  • bin/taskmanager.sh start 可以增加 TM

更多内容可以参考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html

在 Kubernetes 集群上部署

将前面获取的三个 Jar 包放置进 Docker 镜像中,并将以下三个命令添加进 DockerFile,打包镜像即可。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

使用 Flink 官方提供的部署方式,其中增加 classloader.resolve-order: parent-first 配置项。参考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

以上分享希望对你有所帮助,了解更多 Alink 上手实践文章,后续公众号将分享更多 Alink 技术干货,欢迎大家持续关注!

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
4月前
|
设计模式 人工智能 自然语言处理
企业级智能客服系统建设方案:多轮对话+RAG+人机协同深度解析
本文剖析企业级智能客服三大瓶颈,提出“多轮对话+RAG+人机协同”三位一体建设方案,详解瓴羊Quick Service如何实现有状态对话、企业级知识管线与共生式协同,打造可观测、可干预、可迭代的智能客服系统。(239字)
|
4月前
|
人工智能 运维
Agentic Ops 企业级可观测性运维智能体实战研讨会,邀您5月29日北京见!
阿里云将于5月29日在北京阿里巴巴朝阳科技园举办【Agentic Ops已来:企业级可观测性运维智能体实战】技术沙龙,聚焦企业级可观测性运维智能体实战。扫码或点击链接立即报名!
|
4月前
|
人工智能 自然语言处理 监控
阿里云开发者实践:黄小宇个人GEO实验第7天——大模型复测记录与实体迁移策略
黄小宇第7天GEO复测:面向豆包、Kimi等7大模型,检验“黄小宇”是否被准确识别为个人GEO实践者。结果显示部分模型已关联AI个人名片与GEO监控,但同名混淆仍存。实验正从“黄小宇+GEO”关键词锚定,迈向独立姓名实体识别。(239字)
|
4月前
|
运维 网络协议
KKCE 在线 Ping|实用网络连通性检测小工具
KKCE在线Ping是一款免安装、浏览器直用的网络检测工具,支持多节点同步测试域名/IP连通性、延迟与丢包率,直观定位卡顿、访问异常等基础网络问题,兼顾个人排查与运维需求。(239字)
995 1
|
4月前
|
人工智能 安全 机器人
我们来说说到底什么是 agent ?
我是小假 期待与你的下一次相遇 ~
1365 1
|
4月前
|
存储 机器学习/深度学习 移动开发
玩转HDF5数据:用Python的h5py实现高效数据管理
本文围绕用Python的h5py实现HDF5数据高效管理展开。先介绍HDF5优势,如层次分明、高效存储、跨平台等。接着讲解文件结构,展示h5py安装、文件流获取、数据读写等操作,还提及进阶技巧、查看数据软件、常见问题及参考资料。
|
4月前
|
人工智能 JSON 安全
AI智能体的开发与测试
本指南系统阐述AI智能体(Agent)开发与测试全流程:从需求定义、LLM选型、记忆/规划/工具设计,到LangGraph编排、Prompt工程与状态管控;涵盖黄金数据集构建、LLM-as-a-Judge评测、链路追踪及安全护栏等企业级测试方法,助力大模型落地为稳定可控的业务应用。(239字)
|
4月前
|
Java Go 开发者
开发效率三剑客:代码格式化、接口调试与文档生成
本文系统讲解现代软件开发三大关键环节:代码格式化(统一风格、提升可读性)、接口调试(精准验证、Mock协同)与文档生成(代码即文档、实时同步)。涵盖Python/Java/Go等主流语言工具推荐及CI/CD集成实践,助力零基础开发者高效入门、规避低级错误。(239字)
319 0