各位，请教下，有没有遇到 MySQL CDC inital模式下，拉取速度比较慢，然后MySQL服？
各位，请教下，有没有遇到 MySQL CDC inital模式下，拉取速度比较慢，然后MySQL服务端一直报这个错误的情况？ 20:21:58.308 [Repl] Start binlog_dump to master_thread_id(15299746) slave_server(6390), pos(, 4)”
20:22:55.277 [Note] [MY-011171] [Server] Stop asynchronous binlog_dump to slave (server_id: 6390).”
[Note] [MY-010914] [Server] Aborted connection 15301385 to db: ‘unconnected’ user: ‘mig_test_fuxi’ host: ‘10.140.0.250’ (Got an error reading communication packets).”[Note] [MY-011171] [Server] Stop asynchronous binlog_dump to slave (server_id: 6390)." [Note] [MY-010914] [Server] Aborted connection 15372015 to db: 'unconnected' user: 'mig_test_xxx' host: 'xx.xx.xx.xxx' (Failed on my_net_write()).？
写回答
-
北京阿里云ACE会长MySQL CDC在initial模式下需要拉取全部的历史数据，而历史数据比较大，导致拉取速度比较慢，同时MySQL服务端也会因此产生较大的负载，可能导致连接中断或者超时等问题。
针对这个问题，可以考虑以下几个方面的优化：
增加MySQL服务端的资源：可以增加MySQL服务端的CPU、内存等资源，以提高其处理能力和稳定性。
调整MySQL CDC的参数：可以调整MySQL CDC的参数，例如增大拉取数据的批次大小、调整拉取数据的间隔时间等，以提高拉取效率和稳定性。
使用增量拉取模式：如果历史数据较大，可以考虑使用增量拉取模式，先拉取最近的一段时间的数据，然后再逐步向前拉取历史数据，以减小拉取数据的负载和提高拉取效率。
调整MySQL服务端的参数：可以调整MySQL服务端的参数，例如增大binlog缓存大小、调整binlog写入模式等，以提高binlog的写入性能和稳定性。
2023-08-01 17:45:43赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
