问题一：Flink CDC里3.0的schema evolution有设计文档么？
Flink CDC里3.0的schema evolution有设计文档么？操作系统：CentOS7.9
Flink版本：1.16.2
Flink CDC版本：2.4.2
Source端：TiDB v7.5
Sink端：Oracle 19c
使用FlinkSql配置Flink CDC进行数据同步
同步结束后，两边数量一致，但是个别字段不一致，甚至某一个字段Soruce端没有空值，但是Sink端全是空值。SOURCE端和SINK端都是字符类型或者日期类型，但是SOURCE端映射成FLINKSQL的类型是VARCHAR，SINK端映射的类型是STRING，读取是空值。
参考回答：
1:使用flinksql 测试数据写到oracle是否正常
2:flinksql读取tidb是否数据正常
3:以上都没有问题 大概率就是数据类型不兼容或者艾特群里玩oracle的。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596364?spm=a2c6h.13066369.question.6.283f3f336Hqvrt
问题二：现在flink cdc 支持从mysql 到oceanbase吗？
现在flink cdc 支持从mysql 到oceanbase吗？
参考回答：
现在flink cdc还不支持从mysql 到oceanbase的全量或增量数据的同步
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596363?spm=a2c6h.13066369.question.7.283f3f33NS7xrG
问题三：Flink CDC里如果上游没办法限制数据流量 sink doris有办法限制写入流量吗 ？
Flink CDC里如果上游没办法限制数据流量 sink doris有办法限制写入流量吗 ？现在遇到情况 sink doris Records Sent几百万了 但是doris里一条数据没有 怎么办？
参考回答：
在Apache Flink CDC中，如果上游无法限制数据流量，确实可以对Flink Sink Doris的部分进行流量控制，以避免Doris端因为写入速率过高而无法处理。以下是一些可能的解决方案：
Flink侧限流：
背压 (Backpressure)：Flink本身就具备背压机制，可以通过自动调节源和sink之间的数据传输速率，防止数据积压。当sink端处理速度较慢时，Flink会自动减慢数据读取速度，以适应下游处理能力。
Sink Rate Limiting: 可以通过Flink Sink Connector的参数或者自定义SinkFunction实现限流逻辑，比如控制每次批量写入的数据量或延时。
Doris侧优化：
分区策略：合理设计Doris表的分区策略，可以分散写入压力，提高并发写入性能。
Batch Write：确保Flink CDC向Doris写入数据时使用批量写入模式，这样可以减少网络交互次数，提高写入效率。
Doris Load Balancing：如果Doris是集群部署，确保负载均衡配置得当，充分利用集群资源。
中间缓冲与错误处理：
Checkpoints & Retries：检查Flink作业的Checkpoint配置，确保在失败后能够通过Checkpoint恢复并重试写入。
Buffer Size & Flush Policy：设置合理的缓冲区大小和flush策略，避免一次性写入太多数据导致Doris端无法处理。
对于你提到的Records Sent很多但Doris中没有数据的问题，首先需要排查几个关键点：
Flink CDC配置：确认Sink到Doris的配置是否正确，包括连接参数、表名等。
错误处理与告警：检查Flink任务的日志，查看是否有错误信息，例如网络连接错误、数据格式错误、Doris端拒绝写入等情况，并确保有完善的错误处理和告警机制。
Doris端问题排查：检查Doris的写入日志，确认是否真的没有接收到任何数据，还是因为某种原因（如DDL变更、表映射错误等）导致数据没有正确写入。
如果经过排查发现数据确实没有到达Doris端，那么可能需要调整Flink CDC任务的配置，如增加数据缓冲、限流、或者改进错误重试策略，确保数据可靠传输到Doris。同时，也要确认Doris集群的健康状况和写入能力。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596362?spm=a2c6h.13066369.question.8.283f3f33v3o5Ly
问题四：Flink CDC里这种报错怎么解决？
Flink CDC里这种报错怎么解决？flink1.18+flink-cdc3.0。Caused by: org.apache.flink.util.SerializedThrowable: java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException: Invocation of [RemoteRpcInvocation(JobMasterOperatorEventGateway.sendRequestToCoordinator(OperatorID, SerializedValue))] at recipient [pekko.tcp://flink@172.21.48.3:6123/user/rpc/jobmanager_2] timed out. This is usually caused by: 1) Pekko failed sending the message silently, due to problems like oversized payload or serialization failures. In that case, you should find detailed error information in the logs. 2) The recipient needs more time for responding, due to problems like slow machines or network jitters. In that case, you can try to increase pekko.ask.timeout.
参考回答：
该错误表明在Flink 1.18 + flink-cdc 3.0版本中，Flink JobManager与TaskManager之间的RPC通信出现了超时问题。以下是可能的解决方法：
检查网络问题：
确保JobManager和TaskManager之间的网络连接通畅，没有防火墙、安全组规则或其他网络配置阻断了通信。
查看节点间网络延迟是否过高，如有必要优化网络环境。
增加RPC超时时间：
根据错误提示，可以尝试增加Flink的RPC超时时间。在flink-conf.yaml配置文件中增加或修改以下配置项：
pekko.ask.timeout: 30s # 或者设置更大的超时时间，单位为秒
注意这里的配置名可能随着Flink版本的不同有所变动，具体配置项请查阅Flink 1.18版本的官方文档。
检查资源和性能问题：
确认JobManager和TaskManager有足够的CPU和内存资源，避免由于资源不足导致响应超时。
查看JobManager和TaskManager的日志，查看是否有与资源紧张、GC暂停时间过长、任务执行缓慢等相关的信息。
检查序列化问题：
如果错误原因是由于消息太大或者序列化失败引起的，日志中应有相关信息。请优化数据结构，减少序列化后的数据大小，或者检查并修复序列化问题。
任务优化：
检查并优化Flink作业的并行度、算子配置、checkpoint设置等，确保任务执行顺畅，减少RPC通信的压力。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596361?spm=a2c6h.13066369.question.9.283f3f33kSfCyz
问题五：Flink CDC里oraclecdc 报的这个错误怎么解决？
Flink CDC里oraclecdc 报的这个错误怎么解决？java.lang.UnsupportedOperationException: setXIncludeAware is not supported on this JAXP implementation or earlier: class oracle.xml.jaxp.JXDocumentBuilderFactory
参考回答：
在Flink CDC Oracle CDC connector中遇到java.lang.UnsupportedOperationException: setXIncludeAware is not supported on this JAXP implementation or earlier: class oracle.xml.jaxp.JXDocumentBuilderFactory错误，这是因为Oracle自带的JAXP实现不支持setXIncludeAware(true)方法。
解决这个问题的办法一般有两种：
替换XML解析器实现：
由于Oracle的JAXB实现不支持setXIncludeAware，你可以尝试更换为标准的Java XML解析器实现，例如使用Apache Xerces或者其他兼容的XML解析器。在Flink CDC Oracle CDC connector的类路径中优先加载兼容的解析器实现，确保在创建DocumentBuilderFactory时使用的是兼容的类。
禁用不支持的功能：
如果Flink CDC或相关的依赖库中试图设置setXIncludeAware，并且这不是必须的功能，可以在代码层面或者配置中去除对这一特性的依赖。
由于错误发生在Oracle的特定JAXP实现上，可能需要在Flink CDC Oracle CDC connector的配置或者使用时规避这个问题。
关于本问题的更多回答可点击原文查看：
https://developer.aliyun.com/ask/596360?spm=a2c6h.13066369.question.10.283f3f3368YPLm
