问题一:请问flink cdc同步数据的时候遇到这个问题是什么情况呢?
请问flink cdc同步数据的时候遇到这个问题是什么情况呢?
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/496527?spm=a2c6h.13066369.question.21.2ac075ebBll69m
问题二:请问有什么方式Flink CDC可以同步部分的全量数据?
请问有什么方式Flink CDC可以同步部分的全量数据?
并不是将所有的数据加载到flink后进行谓词过滤,而是传入一个限定数据范围的select的语句,在数据库端进行数据选择,再接收binlog数据
参考答案:
Flink CDC 提供了 startFromEarliest 和 startFromLatest 两个参数来指定从哪里开始读取数据。
startFromEarliest 表示从最早的数据开始读取。
startFromLatest 表示从最新的数据开始读取。
如果您想同步部分的全量数据,可以使用 startFromEarliest 参数,指定从某个时间点开始读取数据。这样,Flink CDC 就会从该时间点开始读取所有数据,包括该时间点之前的数据。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/548090?spm=a2c6h.13066369.question.23.2ac075ebl7o7vR
问题三:请问一下,Flink CDC sql同步数据,就提示获取不到连接,这个是需要配置连接池吗?
问题1:请问一下,Flink CDC sql同步数据,添加到20个任务(20张表)后,就提示获取不到连接,这个是需要配置连接池吗? flink版本:1.17.0 ,flink-sql-connector-mysql-cdc-2.4.1。异常如下图:
问题2:这个参数是全局的吗?这个不是给单独一个cdc设置的吗?
参考答案:
回答1:把每个表的connection.pool.size 调大。正常来说,第一个是最大的就行
回答2:会复用连接,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/548071?spm=a2c6h.13066369.question.24.2ac075ebJpCTB6
问题四:Flink CDC中同步数据到es的时候不能创建分词吧?
Flink CDC中同步数据到es的时候不能创建分词吧?
参考答案:
Flink CDC 可以同步数据到 ES 的时候创建分词。你可以使用 createIndexRequest() 方法在创建索引的时候指定分词器。
以下是一个使用 createIndexRequest() 方法创建分词器的例子:
public IndexRequest createIndexRequest(String indexName) {
IndexRequest request = new IndexRequest(indexName);
request.setSource(
"{\"index\":{\"analyzed\":true,\"analyzer\":\"standard\"},\"type\":\"mytype\"}",
XContentType.JSON);
return request;
}
在该例子中,我们使用 standard 分词器来创建索引。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/543685?spm=a2c6h.13066369.question.25.2ac075eb2On324