问题一:Flink CDC中drios整合es中,使用俩表的关联查询,到es中是不是父子文档才行啊?
Flink CDC中drios整合es中,使用俩表的关联查询,到es中是不是父子文档才行啊?
参考回答:
在Flink CDC中整合Elasticsearch(ES)的过程中,确实需要实现父子文档的关联查询才能实现多张表的关系映射。父子文档是指父文档和子文档的关系,它们之间通过唯一的parent_id字段建立联系。在父子文档结构中,父文档包含基本数据,子文档包含与父文档相关联的数据,从而实现了多张表的关系映射。
如果需要进行关联查询,可以通过聚合查询、嵌套查询等方式来实现。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566245
问题二:flinkcdc支持同步oracle的多张表么?
flinkcdc支持同步oracle的多张表么?
参考回答:
FlinkCDC支持同步Oracle的多张表。可以通过FlinkCDC SQL的写法,一个Job可以同步多个表的数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566250
问题三:Flink CDC全量快照是单线程的吗?
Flink CDC全量快照是单线程的吗?
Flink CDC全量快照是单线程的吗?从日志里面看不是单线程的,但是代码里面又没看到是怎么控制的,日志看似乎只有两个线程,我并行度设置的8
参考回答:
snapshotSplit可以并行,binlogSplit只会有一个
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566243
问题四:Flink CDC我在windows上跑个任务做测试,这个大概会是什么问题呢?
Flink CDC我在windows上跑个任务做测试,大概跑到1000次checkpoint的时候,显示创建本地文件失败了,这个大概会是什么问题呢?
参考回答:
在Flink CDC任务中,创建本地文件失败可能是因为磁盘空间不足、内存不足等原因导致的。具体的原因需要您排查,但建议您尝试以下步骤:
- 检查磁盘剩余空间,清理不必要的文件以释放空间;
- 增加内存资源,提高磁盘缓存的可用空间;
- 尝试使用更大的块大小,以便更快地读取和写入数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566242
问题五:Flink CDC语句能获取到ddl变化了哪个表吗?目前只看到ddl变更语句,不知道是哪个表?
Flink CDC语句能获取到ddl变化了哪个表吗?目前只看到ddl变更语句,不知道是哪个表?
参考回答:
你这个里面 alter 语句后面跟的不是表名吗,语句就这么原始,cdc 没做处理
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566241