开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中这个是hbase与hadoop冲突?

"Flink CDC中这个是hbase与hadoop冲突?
e3582bfff3ab300a42d161035d8e746a.png
"

展开
收起
十一0204 2023-08-15 23:52:57 69 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 使用 HBase 作为状态后端,需要在 flink-conf.yaml 中配置 HBase 的相关属性。

    以下是一个示例配置:

    hbase.zookeeper.quorum = localhost
    hbase.zookeeper.property.clientPort = 2181
    hbase.table = test
    hbase.columnFamily = cf1
    如果 HBase 和 Hadoop 冲突,可以尝试以下方法:

    将 HBase 和 Hadoop 的版本都升级到最新版本。
    将 HBase 和 Hadoop 部署在不同的机器上。
    将 HBase 和 Hadoop 的端口修改为不同的端口。
    在 flink-conf.yaml 中配置 HBase 的相关属性,以避免与 Hadoop 冲突。

    2023-09-22 11:16:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    《构建Hadoop生态批流一体的实时数仓》 立即下载
    零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
    CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载