开发者社区> 问答> 正文

Flink Job 如何集成到自己的系统,方便管理

我们现在提交Flink Job 是通过flink客户端run命令提交job,进行实时任务的计算,每次提交都要登录prd机器,上传jar包,过程比较麻烦。

后期规划把实时计算的任务集成到我们已有的一个系统中,把上面描述的过程封装起来,给用户提供一些按钮、菜单等,理想状态下,在这个系统增加一些模块、菜单之类的东西,就能完成对Job的维护,包括提交Job、查看正在运行的Job、停止Job等等

上面所说的这个系统是我们自研的一个数据处理平台,实时计算任务也是其中的一环,因此就想把实时计算的任务的模块也集成到其中去。

不知道这有没有可能实现

请大佬提供些许思路!感谢*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-01 15:36:01 638 0
1 条回答
写回答
取消 提交回答
  • 有的,通过 FLINK 和 YARN 或 k8s 的接口进行编程,管理元数据,管理用户文件,支持提交作业及之后管理作业状态,这是许多公司应用

    Flink 的实现方式。

    你说的前端的东西是对接口返回值的友好展示,Flink 本身有一个 Web 前端,可以支持你要的大部分功能,但是多任务可能会有一些缺陷,尤其你不是使用

    session 模式的情况下。

    向下整合 Flink 能力以及实际部署的集群信息,向上提供人性化的交互页面,按照传统的 Web App 开发思路就可以的。*来自志愿者整理的flink邮件归档

    2021-12-01 15:58:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载