再emapreduce中使用spark访问java.lang.IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

再emapreduce中使用spark访问java.lang.IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver

2016-04-28 18:29:43 8697 2

16/04/28 16:46:19 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, emr-worker-1.cluster-18938): java.lang.IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver

at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$2$$anonfun$3.apply(JdbcUtils.scala:58)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$2$$anonfun$3.apply(JdbcUtils.scala:58)
at scala.Option.getOrElse(Option.scala:120)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$2.apply(JdbcUtils.scala:57)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$createConnectionFactory$2.apply(JdbcUtils.scala:52)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.<init>(JDBCRDD.scala:347)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD.compute(JDBCRDD.scala:339)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
取消 提交回答
全部回答(2)
  • 封神
    2019-07-17 18:49:58
    已采纳

    具体的执行命令为:

    /opt/apps/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --master yarn --deploy-mode client --driver-memory 4g --num-executors 2 --executor-memory 2g --executor-cores 2 --jars mysql-connector-java-5.1.38-bin.jar  --class xx.xxx.test xx-1.0-SNAPSHOT-jar-with-dependencies.jar 
    

    这个问题是spark1.6.1的一个bug,在1.6.0下是可以访问的。
    具体的issue为:https://issues.apache.org/jira/browse/SPARK-14162
    类似的问题在stackoverflow也出现了:http://stackoverflow.com/questions/36326066/working-with-jdbc-jar-in-pyspark

    目前修复的办法
    1、使用1.6.0的版本
    2、等待新的版本修复
    3、按照下面这么写

    df = sqlContext.read.format("jdbc").options(url="jdbc:postgresql://ip_address:port/db_name?user=myuser&password=mypasswd", dbtable="table_name",driver="com.mysql.jdbc.Driver").load()
    df.count()
    2 0
  • nox1234
    2019-07-17 18:49:58

    亲测,mysql-connector 6.0.4不好使。。。换5.1.38好了 。建议大家不要用高版本的,用封神说的版本好使!

    1 0
添加回答
相关问答

1

回答

ptyhon gen_create_table_sql API方法在java 中有没有替换方法

2022-09-17 11:09:49 75浏览量 回答数 1

1

回答

使用 spring 实现 aop中AfterLog.java如何编写代码?

2022-03-31 20:23:47 144浏览量 回答数 1

1

回答

使用了流应用中使用了mysql jdbc的source,Execution处于FINISHED有问题

2021-12-05 22:13:52 414浏览量 回答数 1

1

回答

在浏览器中获取textarea的文本值报错,java.lang.IllegalA?报错

2020-06-09 15:59:32 347浏览量 回答数 1

1

回答

spring 声明式事务aop mysql读写库的配置 问题 - java报错

2020-05-31 19:09:39 438浏览量 回答数 1

1

回答

java中连接mysql时添加Class.forName("com.mysql.jdbc.Drive

2020-05-27 09:59:45 672浏览量 回答数 1

1

回答

Java Spring框架Data Access/Integration层JDBC模块有何作用?

2020-04-12 19:59:21 942浏览量 回答数 1

0

回答

启动一个Java分布式项目,用的hsf spring boot

2019-11-12 21:04:37 1630浏览量 回答数 0

1

回答

JAVA DHCP连接RDS MYSQL 出错,求支持!!

2016-03-10 13:44:02 2126浏览量 回答数 1

1

回答

java中连接mysql时添加Class.forName("com.mysql.jdbc.Driver")的作用?

2016-02-07 18:02:52 4924浏览量 回答数 1
+关注
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载