开发者社区> 问答> 正文

两个ASCM控制台,其中一个控制台的Blink消费另一个控制台的DataHub数据,请问可以实现吗?

两个ASCM控制台,其中一个控制台的Blink消费另一个控制台的DataHub数据,请问可以实现吗?如果可以实现的话需要进行哪些配置操作?谢谢!

展开
收起
游客o7o3eo6sqzgcg 2023-12-20 10:26:35 63 0
2 条回答
写回答
取消 提交回答
  • ASCM和DataHub都是阿里云的产品,但是它们的功能和用途不同。ASCM主要用于云服务的管理和控制,而DataHub则是一个实时数据处理和流式数据传输服务。如果你想要在一个ASCM控制台中消费另一个ASCM控制台的DataHub数据,理论上是可以实现的,但需要以下步骤:

    1. 在源DataHub项目中创建Topic,并将数据发布到该Topic。
    2. 在目标ASCM控制台中的DataHub服务中创建一个对应的Consumer Group,用于消费源DataHub的数据。
    3. 配置Consumer Group的消费策略和 offset 初始化策略。
    4. 编写数据消费程序,使用DataHub提供的SDK连接到目标ASCM控制台的DataHub服务,并订阅在步骤2中创建的Consumer Group。
    5. 在消费程序中处理接收到的数据。
    2023-12-20 14:22:38
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    可以实现,一个ASCM控制台的Blink消费另一个控制台的DataHub数据。这需要利用阿里云的DataHub以及Flink Connector。

    首先,你需要在其中一个ASCM控制台上创建DataHub源表,并在这个源表中发布你要传输的数据。同时,在另一个ASCM控制台上,创建一个Blink任务来消费这个源表里的数据。

    为了实现点位协同消费,你需要完成以下配置操作:为Topic创建订阅,并在消费一部分数据后,将消费的点位提交至服务端。这样,下次启动任务时,可以从服务端获取上次提交的点位,从指定点位的下一条记录开始消费。只有将点位保存在服务端,才能在shard重新分配后,从上次提交的点位之后继续消费。

    请注意,由于DataHub Flink Connector并没有开源出来,你可能需要参照RocketMQ Flink Connector编写自定义的DataHub Flink Connector。

    2023-12-20 13:43:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DTS控制台一本通 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载