开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里搭建flink的集群需要ssh协议么?

Flink CDC里搭建flink的集群需要ssh协议么?公司安全部不允许服务器之间进行ssh连接 这个可咋整?443474bdc04a1573237b985e3f05685c.png

展开
收起
小小鹿鹿鹿 2024-01-24 12:35:23 87 0
2 条回答
写回答
取消 提交回答
  • Apache Flink CDC 集群的搭建并不严格要求服务器之间必须通过SSH协议进行连接。Flink集群节点间主要是通过网络通信来协同工作,比如TaskManager与JobManager之间的交互是基于Akka远程过程调用(RPC),以及用于数据交换的网络套接字。

    然而,在实际部署和运维过程中,SSH协议经常被用来进行远程登录管理、文件传输以及其他初始化配置,比如启动和停止集群服务等。如果没有SSH连接,以下操作将会受到影响:

    1. 脚本执行:如果你是通过SSH在各个节点上执行安装和启动命令,没有SSH会导致无法远程控制各个节点。

    2. 日志查看:SSH也是实时查看和收集集群节点日志的常用手段。

    3. 集群动态扩展:若使用YARN、Kubernetes或Mesos等资源管理系统部署Flink,虽然不需要直接SSH,但如果系统内部依赖SSH进行某些步骤,如容器内启动进程,则仍需解决SSH访问问题。

    针对不允许SSH连接的情况,可以考虑以下替代方案:

    • 安全组规则:如果公司的安全策略允许,可以配置防火墙规则或安全组规则,仅开放必要的端口,如JobManager的RPC端口、TaskManager的数据通信端口以及用于监控的日志服务端口等。

    • 无密码密钥交换:如果允许某种形式的安全自动化运维,可以采用密钥对的方式代替密码认证,实现无密码SSH连接,这通常更安全。

    • 集中化管理平台:使用企业级集群管理工具或云服务提供的API进行自动化部署和运维,避免直接SSH访问。

    • 内部网络通信:确保Flink集群节点间的网络通信不受影响,通过HTTP、HTTPS或者其他安全的远程调用协议完成必要的管理和控制任务。

    2024-01-26 16:15:23
    赞同 展开评论 打赏
  • 不需要。此回答来自钉群Flink CDC 社区。

    2024-01-24 19:00:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载