开发者社区> bySerendipity> 正文

Spark 写出MySQL报错,java.sql.BatchUpdateException

简介: spark DataFrame 写出到MySQL时报如下错误: java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect 原因: 写出的DataFrame 表结构和MySQL中创建的表结构不一致, 2个 DataFrame join 后的结果中有两列都是“name”列。
+关注继续查看

spark DataFrame 写出到MySQL时报如下错误:

java.sql.BatchUpdateException: Column ‘name’ specified twice at sun.reflect

原因: 写出的DataFrame 表结构和MySQL中创建的表结构不一致,
2个 DataFrame join 后的结果中有两列都是“name”列。

解决: 修改DataFrame写出结构。核心代码如下:

    val res1: Dataset[Row] = studentInfoDF.join(stu_scoresDF, 
      studentInfoDF.col("name") === stu_scoresDF.col("name"))
      .filter(stu_scoresDF.col("score") > 80)

    res1.show(false) 

    import  spark.implicits._
    val out: Dataset[(String, Int, String)] = res1.map(row => (row.getAs[String](0),
      row.getAs[Int](1),
      row.getAs[String](3)))
    out.toDF("name","age","score").write.mode("append").jdbc(url,"good_stu",prop)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用QueryRunner报错:java.sql.SQLException: Cannot create
使用QueryRunner报错:java.sql.SQLException: Cannot create
34 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
9464 0
IDEA本地报错 ConnectionCallback; isValid; nested exception is java.sql.SQLFeatureNotSupportedException: isValid的解决办法
IDEA本地报错 ConnectionCallback; isValid; nested exception is java.sql.SQLFeatureNotSupportedException: isValid的解决办法
186 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
18418 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
24957 0
tailf报错limit of inotify watches was reached
tailf报错limit of inotify watches was reached
2349 0
JSP项目报错在build path里找不到javax.servlet.http.HttpServlet的解决方法
JSP项目报错在build path里找不到javax.servlet.http.HttpServlet的解决方法
20 0
maven报错:Check $M2_HOME environment variable and mvn script match.
1 发现问题 eclipse中使用maven插件的时候,运行run as maven build的时候报错 -Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match.  2 解决问题 步骤1 设置环境
1955 0
+关注
bySerendipity
斯人如彩虹,遇上方知有。 皮,皮实
42
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载