spark将分析好的数据插入mysql,怎么判断重复-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark将分析好的数据插入mysql,怎么判断重复

2019-05-28 16:01:29 3214 2

spark将分析好的数据插入mysql,怎么判断重复

取消 提交回答
全部回答(2)
  • bigbigtree
    2020-03-19 20:00:27

    建议直接在mysql数据表中增加unique key约束,由数据库端做数据去重

    0 0
  • hbase小能手
    2019-07-17 23:36:12

    你是说 存在更新不存在 插入?那你得foreachpartition自己写mysql 。 update into on deplicate key这种方式写 官方没有 这种更新的方式写的

    0 0
添加回答
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 127269浏览量 回答数 4

18

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1050135浏览量 回答数 18

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157779浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337127浏览量 回答数 8

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 129285浏览量 回答数 2

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 259926浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 305729浏览量 回答数 249

97

回答

Redhat/CentOS一键安装web环境全攻略

xiaofanqie 2011-08-11 14:51:38 123752浏览量 回答数 97

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204443浏览量 回答数 2

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 121391浏览量 回答数 11
+关注
hbase小能手
HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。
112
文章
338
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载