我们现在提交Flink Job 是通过flink客户端run命令提交job,进行实时任务的计算,每次提交都要登录prd机器,上传jar包,过程比较麻烦。
后期规划把实时计算的任务集成到我们已有的一个系统中,把上面描述的过程封装起来,给用户提供一些按钮、菜单等,理想状态下,在这个系统增加一些模块、菜单之类的东西,就能完成对Job的维护,包括提交Job、查看正在运行的Job、停止Job等等
上面所说的这个系统是我们自研的一个数据处理平台,实时计算任务也是其中的一环,因此就想把实时计算的任务的模块也集成到其中去。
不知道这有没有可能实现
请大佬提供些许思路!感谢*来自志愿者整理的flink邮件归档
有的,通过 FLINK 和 YARN 或 k8s 的接口进行编程,管理元数据,管理用户文件,支持提交作业及之后管理作业状态,这是许多公司应用
Flink 的实现方式。
你说的前端的东西是对接口返回值的友好展示,Flink 本身有一个 Web 前端,可以支持你要的大部分功能,但是多任务可能会有一些缺陷,尤其你不是使用
session 模式的情况下。
向下整合 Flink 能力以及实际部署的集群信息,向上提供人性化的交互页面,按照传统的 Web App 开发思路就可以的。*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。