开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们Flink CDC flinkcdc-doris fenodes参数可以填多个fe节点吗?

因为doris搭建的是高可用

展开
收起
雪哥哥 2022-12-04 22:23:45 613 0
8 条回答
写回答
取消 提交回答
  • 在Flink CDC中,flinkcdc-doris的fenodes参数可以填写多个Doris Frontend(FE)节点。这样做可以提高系统的可用性和容错性,确保在某个FE节点不可用时,仍然可以正常进行数据传输和同步。

    在配置fenodes参数时,可以将多个FE节点的地址以逗号分隔的形式添加到参数中。例如:

    flinkcdc-doris --fenodes fe1:8030,fe2:8030,fe3:8030
    

    这样就将FE节点fe1、fe2和fe3添加到了CDC任务中。

    当配置多个FE节点时,Flink CDC会自动进行负载均衡和故障转移。当其中一个FE节点不可用时,CDC任务会自动切换到其他可用的FE节点上,确保数据同步的连续性和一致性。

    2023-08-26 21:13:16
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,可以填写多个fe节点,以保证 CDC 任务的高可用和稳定性。在填写多个fe节点时,需要使用英文逗号分隔每个节点的地址。例如:

    --fenodes 192.168.0.1:8030,192.168.0.2:8030
    

    上述配置表示使用两个 fe 节点作为 Doris 存储的访问地址。当其中一个节点出现故障时,CDC 任务可以自动切换到另一个可用节点,从而保证数据同步的连续性和稳定性。

    2023-08-21 15:11:09
    赞同 展开评论 打赏
  • 你在使用 Flink CDC 监控 Doris 的 fenodes 时,想要知道 Flink CDC 的 flinkcdc-doris 参数是否可以填写多个 fe 节点。Doris 是一个基于 Apache Spark 的列式存储系统,它支持高可用,因此在搭建 Doris 时可以使用多个 fe 节点来提高 Doris 的可用性。
    在 Flink CDC 中,你可以使用 flinkcdc-doris 参数来指定 Doris 的 fenodes 信息,例如:

    <configuration>
      <property name="flinkcdc-doris" value="fe1:127.0.0.1:2181,fe2:127.0.0.1:2181" />
      ...
    </configuration>
    

    这样就可以让 Flink CDC 连接到多个 Doris 的 fe 节点,从而实现高可用。

    2023-08-17 16:58:16
    赞同 展开评论 打赏
  • 是的,Flink CDC的flinkcdc-doris命令的fenodes参数可以填写多个FE节点。

    fenodes参数用于指定DorisDB的FrontEnd节点地址,它接受一个地址列表,多个地址之间用逗号分隔。例如:

    flinkcdc-doris --fenodes=<FE节点地址1>,<FE节点地址2>,<FE节点地址3>
    

    在实际使用中,可以根据的DorisDB集群配置情况,将所有可用的FE节点地址添加到fenodes参数中,以便Flink CDC能够与DorisDB集群的不同节点建立连接并进行数据同步操作。

    2023-08-17 15:09:59
    赞同 展开评论 打赏
  • 在 Flink CDC 中,flinkcdc-doris 任务的 fenodes 参数是用来指定连接到 Doris(以前称为 Apache Kylin)集群的 Frontend 节点。该参数可以接受多个 FE 节点的地址。
    image.png

    您可以将多个 FE 节点的地址以逗号分隔的方式提供给 fenodes 参数。例如:

    --fenodes fe1:7070,fe2:7070,fe3:7070
    

    上述示例中,fe1:7070fe2:7070fe3:7070 是多个 Doris FE 节点的地址和端口号。

    这样配置的目的是为了提高连接的可靠性和负载均衡。Flink CDC 在运行时会根据提供的 FE 节点列表进行连接,并选择一个可用的节点进行操作。
    image.png

    确保提供的 FE 节点地址是正确的,并且 Flink CDC 实际运行的环境中能够访问到这些节点。当有新的 FE 节点加入或现有节点发生故障时,您可以根据需要更新 fenodes 参数以反映最新的集群配置。

    2023-08-16 22:33:48
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    如果你在 Doris(原 Apache Flink SQL)中搭建了高可用的集群,通常会有多个 FE 节点作为负载均衡和故障切换的机制。在这种情况下,你仍然可以使用 flinkcdc-doris 工具,但需要手动选择一个 FE 节点进行连接。

    你可以选择其中一个 FE 节点的地址填写到 fenodes 参数中,这样 Flink CDC 将连接到该节点并进行数据同步。如果选择的节点发生故障或不可用,你可以手动更改 fenodes 参数中的地址以切换到另一个可用的 FE 节点。

    2023-08-14 19:12:55
    赞同 展开评论 打赏
  • 在 Flink CDC 的 flinkcdc-doris 连接器中,fenodes 参数只支持指定单个 DorisDB 的 Frontend 节点。目前暂不支持直接填写多个 FE 节点。

    如果你的 DorisDB 部署了高可用架构,可以通过在 Flink CDC 中配置一个负载均衡器(如 Nginx、HAProxy 等)来实现对多个 FE 节点的负载均衡和故障转移。具体做法是将负载均衡器作为 Flink CDC 和 DorisDB 之间的代理,将请求分发到可用的 FE 节点。

    另外,Flink CDC 目前也提供了与 Apache Hudi 的集成,可以使用 Hudi 来读取和写入 DorisDB。Hudi 支持配置多个 FE 节点,可实现对 DorisDB 集群的负载均衡和故障转移。

    2023-08-14 15:47:49
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    是的,Flink CDC中的flinkcdc-doris和fenodes参数可以填写多个fe节点。这是因为Flink CDC支持将多个fe节点添加到同一个集群中,以实现高可用性。
    具体来说,您可以在Flink CDC的配置文件中,使用逗号分隔符将多个fe节点的IP地址和端口号分隔开,例如:

    flinkcdc-doris: "fe1:127.0.0.1:50051,fe2:127.0.0.1:50051"
    fenodes: "fe1:127.0.0.1:50051,fe2:127.0.0.1:50051"
    

    其中,flinkcdc-doris参数指定了将要连接到的多个fe节点的IP地址和端口号,fenodes参数指定了将要连接到的多个fenode节点的IP地址和端口号。
    需要注意的是,如果您使用多个fe节点,那么您需要在Flink CDC的配置文件中,指定多个fe节点的IP地址和端口号。同时,您需要在Doris集群中,将多个fe节点添加到同一个集群中,以实现高可用性。

    2023-08-14 13:07:05
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载