问题一:flink cdc哪个版本有sqlserverCatalog,能根据表名拿到对应的字段和字段类型?
flink cdc哪个版本有sqlserverCatalog,能根据表名拿到对应的字段和字段类型?
参考答案:
你指的是flink-connector-jdbc吧,这个是连接器的特性,1.17的好像就支持了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584664
问题二:flink cdc 每次都要重新在datagrip里面新开一个窗口才能看到数据的变化,为什么?
用spark thriftserver 查询flink cdc 同步到hudi的数据的时候,每次都要重新在datagrip里面新开一个spark query窗口才能看到数据的变化?
参考答案:
你这个是spark 的session 模式导致的bug吧,试下 refresh下 hudi的table呢
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584662
问题三:阿里flink云服务,如何使用这种CDC整库?有没有案例?
阿里flink云服务,如何使用这种CDC整库?有没有案例?
参考答案:
直接用cdas就行了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584660
问题四:Flink这个 busy 是啥意思?
Flink这个 busy 是啥意思?
参考答案:
在Flink中,"busy"是指一个subtask的消费速率低于上游的生产,这个subtask的InputChannel buffer会被撑满,然后上游subtask的负责转发数据的nettyServer会收到消息,停止发送数据,直到上游subtask的ResultPartition撑满,上游的算子就被背压了。在这种情况下,一个subtask/算子是否背压和他本身的处理情况没有直接关系,而是取决于下游是否有subtask的处理速度一直低于输入速率;换言之,取决于下游算子的busy time。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/586039
问题五:有人接过influxDB吗?Flink这里为什么没有提供setHost()?
有人接过influxDB吗?Flink这里为什么没有提供setHost()?
参考答案:
Flink中InfluxDB Connector的使用需要设置相关参数,包括InfluxDB的主机地址、数据库名称等。对于你提到的setHost()方法,在新版本的Flink InfluxDB Connector中可能已经不再使用。取而代之的是,你可以通过创建InfluxDbConfig对象来设定这些参数。具体来说,你可以这样配置:
public static List < JobLastCheckpointExternalPath > getCheckPoints (String jobId) { InfluxDbConfig config = new InfluxDbConfig (); config. setHost ("http://influxdb.slankka.com:8099"); //根据实际情况修改 config. setDatabase ("flink"); //根据实际情况修改 }
在这段代码中,我们首先创建了一个InfluxDbConfig对象,然后调用其setHost()和setDatabase()方法来分别设置InfluxDB的主机地址和数据库名称。需要注意的是,这里的URL是InfluxDB的服务地址,可以是VPC网络地址,例如:https://localhost:8086或http://localhost:3242。此外,这个模块与InfluxDB 1.3.x版本兼容。
关于本问题的更多回答可点击进行查看: