flinkcdc全量读取mysql表中数据阶段，是直接通过jdbc读取的么？
flinkcdc全量读取mysql表中数据阶段，是直接通过jdbc读取的么？
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在使用Flink CDC从MySQL读取数据的过程中，有两种方法可以选择：一是使用Java API编程方式，二是使用SQL语句。
其中，如果是使用Java API编程的方式，Flink CDC可以直接通过JDBC接口来读取MySQL表中的数据；而如果是使用SQL语句的方式，那么实际上是通过MySQL Connector/J来建立数据库连接，并将SQL语句发送给MySQL Server进行处理，然后再将结果返回给Flink CDC客户端。
无论哪种方式，在全量读取MySQL表中的数据时都会涉及JDBC连接过程，但由于两种方法的实现方式不同，因此细节上有一定差异。2023-11-15 14:33:38赞同 展开评论 打赏 -
-
Flink CDC 全量读取 MySQL 表中数据阶段，不是直接通过 JDBC 读取的。
Flink CDC 是通过解析数据库的 binlog（二进制日志）来实现数据同步的。在全量读取阶段，Flink CDC 会从 binlog 的历史位置开始读取，一直追溯到最早的事务。这个过程不需要直接访问数据库表，而是通过解析 binlog 来获取数据变更信息。
当 Flink CDC 读取到全量数据后，会将数据转换为 Flink SQL 支持的数据类型，并写入到 Flink SQL 中进行后续处理。在这个过程中，如果遇到 DECIMAL(10, 0) 类型的字段，可能会因为 Flink SQL 版本的问题导致数组越界的错误。你可以尝试升级 Flink SQL 版本或者使用其他数据类型来解决这个问题。
2023-11-15 09:17:12赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
