请问dataphin是如何做去重复记录的？
"请问dataphin是如何做去重复记录的？
两条记录分别在两个不同的批次里，两条记录除了""源系统""字段不同，其他字段都相同。
问题是如何高效去重(每次都差数据库效率太低了）?
就是说2条数据就一个“源系统”字段不一样，其他都一样。
想做的是：如果第一条数据执行了，第二条数据就不执行。 除了查数据库现有主键还有其他号的方式吗？是插入数据库操作。"
展开
收起
2
条回答
写回答
写回答
-
意中人就是我呀！"一个是配置字段主键，一样的不插入，不一样的插入
另一个是分区字段，一样的数据都在同一个分区。看下你们业务适配哪个就用哪个。此答案整理至钉群“Dataphin公共云答疑群”。"2023-08-16 07:57:42赞同 展开评论 打赏 -
发表文章、提出问题、分享经验、结交志同道合的朋友你好，可以使用唯一索引来解决去重复记录的问题，就可以避免重复记录的问题。
具体操作方法：
- 在"源系统"字段上创建唯一索引。
- 在插入新记录时，先检查"源系统"字段的值是否已经存在于表中，如果已经存在，则不再插入新记录。
- 如果"源系统"字段的值不存在于表中，则插入新记录。
这样可以有效地避免重复记录的问题，并且不需要每次都查询数据库来检查是否存在重复记录。
2023-08-14 14:42:27赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
Dataphin智能数据建设与治理
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
