问题一:Flink CDC为什么不支持窗口函数,其背后原理是什么?
Flink CDC为什么不支持窗口函数,其背后原理是什么?对于类似over窗口(如包含partition by和order by子句的rank()函数)这类SQL表达式,Flink CDC是否支持?
参考回答:
并不是flink-cdc不支持窗口函数,是窗口函数不支持delete消息和update消息, 如果你采用datastream 方式只拿取after里面的数据,也是可以进行开窗的。或者使用时间字段,group by。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/594931?spm=a2c6h.13066369.question.61.283f3f33VFkT0c
问题二:Flink CDC里flinksql走全量的时候是否有checkpoint?
Flink CDC里flinksql走全量的时候是否有checkpoint?
参考回答:
如果是增量快照框架的,一般都是必须的。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/594914?spm=a2c6h.13066369.question.62.283f3f3368iKk8
问题三:Flink CDC里cdc整库同步,全量初始化过程超过binlog的保存时间会不会导致数据丢失啊?
Flink CDC里cdc整库同步,全量初始化过程超过binlog的保存时间会不会导致数据丢失啊?
参考回答:
这种是可能存在的, 一般建议binlog保留7天。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/594905?spm=a2c6h.13066369.question.63.283f3f33gWnUlb
问题四:Flink CDC里cdc chunk算法并发读多个chunk之间的low hign点位会有重叠吗?
Flink CDC里cdc chunk算法的问题,并发读多个chunk之间的low hign点位会有重叠?,chunk用binlog修正后和binlog里其他内容一起往下游写,导致binlog多次写入,写入有先后顺序不就会导致不一致了吗?
参考回答:
有重叠也没影响,chunk的key区间不同,修正只读key区间的binlog。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/594904?spm=a2c6h.13066369.question.64.283f3f33OZF9tv
问题五:Flink CDC里rocksdb写在mount挂载点的存储上,ck就会报错,请问是什么原因?
Flink CDC里rocksdb写在mount挂载点的存储上,ck就会报错,请问是什么原因?
参考回答:
从您提供的错误日志来看,问题出在RocksDB无法打开一个目录,具体错误为"while fsync : a directory: Invalid argument"。这个错误通常发生在RocksDB尝试访问或写入数据到磁盘上的某个目录时,但遇到了某种问题。
可能的原因包括:
1. 磁盘空间不足:如果磁盘空间不足,RocksDB可能无法写入数据。请检查您的磁盘空间是否足够。
1. 文件系统错误:如果文件系统存在问题,例如损坏的文件系统或不正确的权限设置,也可能导致此错误。请检查您的文件系统状态和权限设置。
1. 挂载点问题:如果您将RocksDB的数据目录设置在一个挂载点上,可能存在挂载不稳定或配置不正确的问题。请检查您的挂载点配置和稳定性。
1. 其他硬件或软件问题:除了上述原因外,还可能存在其他硬件或软件问题导致此错误。这可能需要进一步的调查和诊断。
针对这个问题,您可以尝试以下几个步骤来解决问题:
1. 检查磁盘空间:确保您的磁盘空间充足,并检查是否存在其他占用大量空间的文件或进程。
1. 检查文件系统:运行文件系统检查工具(如fsck)来修复可能存在的文件系统错误,并确保文件系统权限正确设置。
1. 检查挂载点:如果您将数据目录设置在一个挂载点上,请确保挂载点配置正确,并且挂载稳定。您可以尝试重新挂载或调整挂载选项来解决问题。
1. 寻求帮助:如果上述步骤都无法解决问题,建议您向相关的技术支持或社区寻求帮助,以获取更详细的诊断和解决方案。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/594896?spm=a2c6h.13066369.question.65.283f3f33itTrPs