开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 程序包 部署生产环境一般用什么形式部署

flink 程序包 部署生产环境一般用什么形式部署

展开
收起
JWRRR 2023-04-03 14:57:33 451 0
3 条回答
写回答
取消 提交回答
  • application 或者 低版本用per-job此回答整理自钉群“【③群】Apache Flink China社区”

    2023-04-03 16:51:59
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在将 Flink 程序部署到生产环境时,一般会使用以下几种形式进行部署:

    1、原生部署:将 Flink 程序打包成 Jar 包,通过命令行或脚本直接提交到 Flink 集群中运行。这种方式适用于较小的生产环境,部署简单,但需要手动管理集群。

    2、使用容器:将 Flink 程序打包成 Docker 镜像,并通过容器管理平台(如 Kubernetes)部署到集群中。这种方式适用于需要更好的扩展性和管理性,同时能够提高应用程序的容错性。

    3、使用运维工具:使用运维工具(如 Ansible、Puppet、Chef 等)自动化部署 Flink 程序。这种方式适用于需要管理多个生产环境和版本控制的场景。

    在选择部署方式时,需要根据实际情况综合考虑各种因素,如部署复杂度、可扩展性、容错性、性能等。同时,还需要考虑安全性和可维护性等因素。

    2023-04-03 15:28:37
    赞同 展开评论 打赏
  • 存在即是合理

    在将Flink程序部署到生产环境时,通常会选择以下几种方式进行部署:

    1、Standalone部署:这是最简单的部署方式,即将Flink程序打包成一个可执行的Jar包,然后在生产环境中通过命令行启动。这种部署方式适用于小规模的集群和简单的应用场景。

    2、YARN部署:如果您在生产环境中使用了Hadoop生态系统的其他组件,例如HDFS或Hive,那么可以考虑使用YARN部署Flink程序。在YARN上部署Flink程序可以实现资源隔离和动态资源分配,提高资源的利用率。

    3、Kubernetes部署:Kubernetes是目前比较流行的容器编排平台,可以用于部署和管理Flink程序。在Kubernetes上部署Flink程序可以实现高可用性和弹性扩展,同时也可以更好地管理资源和监控应用程序。

    4、Mesos部署:Mesos是另一种流行的集群管理系统,可以用于部署和管理Flink程序。在Mesos上部署Flink程序可以实现资源隔离和动态资源分配,同时也可以更好地管理资源和监控应用程序。

    总的来说,选择何种部署方式取决于您的具体需求和技术栈,例如需要的资源管理方式、可用性需求、监控和日志收集需求等。不同的部署方式有不同的优缺点,需要根据自己的情况选择最适合的方式。

    2023-04-03 15:10:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载