问题一:Flink CDC里看了下mysql的日志,这种效果要怎么实现?
Flink CDC里看了下mysql的日志,发现flink在查询数据的时候,使用的语句是 select from table。我在创建sql任务的时候,source端是列出了要的字段,flink还会用select 去查找库里面查找。因为cdc读取源端数据分两个阶段,第一阶段是做可并行的全量快照(select *),第二阶段做单线程读binlog拿增量数据。我想在第一阶段的时候查询也通过指定字段查询,有方法吗?目前看到源码中是指定好的。使用的是flink1.17.1版本,2.4.1的cdc。自己编译源码修改这块的逻辑就可以了吗?刚接触不久没搞过。会牵扯到其余的大变动吗?
参考答案:
理论上是可以的,需要自己修改下代码逻辑。我理解如果不涉及到 DDL 同步,改动不是很大,每次解析数据时候处理下。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597937?spm=a2c6h.12873639.article-detail.87.50e24378TRW91E
问题二:Flink CDC里大屏数据与业务数据 你们是怎么同步数据的?
Flink CDC里大屏数据与业务数据 你们是怎么同步数据的?
参考答案:
使用Flink SQL或DataStream API对捕获到的变更数据进行清洗、转换和聚合操作,以便将原始业务数据转换成适合大屏展示的数据格式和内容,例如汇总统计、时序分析结果等。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597936?spm=a2c6h.12873639.article-detail.88.50e24378TRW91E
问题三:Flink CDC里oracel cdc 的延时很大什么原因?
Flink CDC里oracel cdc 的延时很大什么原因?目前只有几条测试数据好几分钟数据才过来,在上游插入一条数据,看日志,10分钟才过来。
参考答案:
之前遇到过 我是调整ck的设置 你可以调整ck的设置 试一下 间隔时间 超时时间,你如果数据量不大 你就设置的小一点 测试一下。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597932?spm=a2c6h.12873639.article-detail.89.50e24378TRW91E
问题四:请问flink cdc支持达梦数据库么,有没有相关代码可以参考?
请问flink cdc支持达梦数据库么,有没有相关代码可以参考?
参考答案:
封闭产品,不支持哈。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597931?spm=a2c6h.12873639.article-detail.90.50e24378TRW91E
问题五:Flink CDC里如何解决这一外网连接问题?
在Flink CDC中遇到连接问题,尽管8030、9030等端口在内网环境下可以正常通信并将数据采集至StarRocks,但在外网环境下,尽管这些端口(8040、9030、8030)已经开放,却无法建立有效连接。即便使用的SQL配置相同,外网环境下仍无法实现数据同步。如何解决这一外网连接问题?
参考答案:
flink 先链接fe,fe会把be的信息给flink,此时flink拿到be的信息,如果不打通,flink没办法写入be数据。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/597928?spm=a2c6h.12873639.article-detail.91.50e24378TRW91E