两个ASCM控制台,其中一个控制台的Blink消费另一个控制台的DataHub数据,请问可以实现吗?如果可以实现的话需要进行哪些配置操作?谢谢!
ASCM和DataHub都是阿里云的产品,但是它们的功能和用途不同。ASCM主要用于云服务的管理和控制,而DataHub则是一个实时数据处理和流式数据传输服务。如果你想要在一个ASCM控制台中消费另一个ASCM控制台的DataHub数据,理论上是可以实现的,但需要以下步骤:
可以实现,一个ASCM控制台的Blink消费另一个控制台的DataHub数据。这需要利用阿里云的DataHub以及Flink Connector。
首先,你需要在其中一个ASCM控制台上创建DataHub源表,并在这个源表中发布你要传输的数据。同时,在另一个ASCM控制台上,创建一个Blink任务来消费这个源表里的数据。
为了实现点位协同消费,你需要完成以下配置操作:为Topic创建订阅,并在消费一部分数据后,将消费的点位提交至服务端。这样,下次启动任务时,可以从服务端获取上次提交的点位,从指定点位的下一条记录开始消费。只有将点位保存在服务端,才能在shard重新分配后,从上次提交的点位之后继续消费。
请注意,由于DataHub Flink Connector并没有开源出来,你可能需要参照RocketMQ Flink Connector编写自定义的DataHub Flink Connector。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。