spark将分析好的数据插入mysql，怎么判断重复-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark将分析好的数据插入mysql，怎么判断重复

hbase小能手 2019-05-28 16:01:29 1688

spark将分析好的数据插入mysql，怎么判断重复

分布式计算 关系型数据库 MySQL Spark
分享到
取消 提交回答
全部回答(2)
  • bigbigtree
    2020-03-19 20:00:27

    建议直接在mysql数据表中增加unique key约束，由数据库端做数据去重

    0 0
  • hbase小能手
    2019-07-17 23:36:12

    你是说 存在更新不存在 插入？那你得foreachpartition自己写mysql 。 update into on deplicate key这种方式写 官方没有 这种更新的方式写的

    0 0
添加回答
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿，解构实战干货，推动数据库技术变革

推荐文章
展开
相似问题
展开
推荐课程