AI 助理
备案控制台
开发者社区 问答 正文

mysql队列入库有什么好办法？

现在多实例采集入库mysql，但是采集是有content重复这种情况，所以我必须入库做判断重复就skip。但是问题是判断这一步耗时长，导致判断滞后。所以 skip其实上存在问题（有重复数据入库），亲们想想怎么解决方案好

展开
收起
落地花开啦 2016-02-15 15:07:04 2436 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 落地花开啦
    喜欢技术，喜欢努力的人

    再建立一个验证表，保存可以唯一表示内容的字段，验证的时候就判断这张表里面是否存在相同的数据

    2019-07-17 18:43:17
    赞同 展开评论
问答分类：
关系型数据库 MySQL 云数据库 RDS MySQL 版
问答标签：
云数据库 RDS MySQL 版办法 云数据库 RDS MySQL 版入库 云数据库 RDS MySQL 版队列
问答地址：
开发者社区 > 数据库 > 问答
相关问答
mysql的数据在迁移到oceanbase数据库时，遇到外键创建失败问题，这个有没有办法避免呀
124
1
0
Flink CDC用mysql的时间和doris的入库时间对比做延迟警告，靠谱吗？
90
0
0
Flink读取mysql cdc有办法过滤掉 update_before类型的数据嘛？
116
2
0
canal如何实现将mysql多张表(月表)采集入库到目标表中(一张表)？
219
0
0
云数据仓库ADB这个地方如果是mysql的话，就会变成总计，这有什么办法处理吗？
121
2
0
DataWorks需要检查mysql数据源更新时间有今天的数据了,有没有办法配置?
79
1
0
flink cdc用cdc-mysql 抽的数据有没有办法把dbz-json的schema去掉？
86
1
0
在Flink CDC中，flink-cdc做Mysql的整库同步时，有办法忽略掉没有主键的表吗？
124
1
0
有什么办法把mysql的数据同步到PolarDB-X中？
365
1
0
DataWorks中odps同步任务到mysql的时候报脏数据，这个有办法解决吗？
108
1
0