[@项籍][¥20]springboot连接canal，启动监听； 当主库数据库日志变化太快，就无法同步了
canal部署到服务，然后springboot工程启动服务，通过event监听canal事件； 主库发生变化，就有binlog日志过来； 然后通过程序写入到Elasticsearch； 目前没有用mq或kafka，不知道在什么地方用合适；
现在的问题，如果主库跑定时任务，涉及到一个大表1亿数据量的变化； 会产生大量的binlog日志； 这时候监听就反应不过来了；详细请见图片； 目前是监听收到binlog日志后；只处理需要更新到es的表； 但是因为binlog日志过来量太大； 所以就无法监听处理了； 请大神帮忙看下； 谢谢!
展开
收起
2
条回答
写回答
写回答
-
-
多年互联网开发经验，从事业务开发、平台开发、架构设计、云计算、APM等领域。目前专注于供应链方向的解决方案治理和服务交易域- consumer消费速度下降会造成canal sink堵塞引发“无法”监听处理
- 大规模数据变更，需要考虑考虑提高下游的并发能力，提升吞吐量
- 针对下游能力有瓶颈时，可以引入canal+kafka的模式，基于kafka做一下中间缓存，引入更多的客户端进行并发处理来提升性能
4.如果对于消息顺序有强烈需求，可以通过producter route到一个partition解决乱序问题
1.canal消费速度变慢，会造成sink卡住，引发“无法”消费
- 大规模数据变更，需要考虑考虑提高下游的并发能力，提升吞吐量
- 针对下游能力有瓶颈时，可以引入canal+kafka的模式，基于kafka做一下中间缓存，引入更多的客户端进行并发处理来提升性能
4.如果对于消息顺序有要求可以考虑porducter route到一个partition解决
2019-07-17 23:15:59赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
