spark 读取ssl的rds

要通过Spark代码读取启用了SSL的RDS MySQL数据，您需要遵循以下步骤：

1. 准备SSL连接所需的驱动和证书：

   • 确保您的环境中已安装了与RDS MySQL版本兼容的MySQL JDBC驱动。例如，使用mysql-connector-java-8.0.11.jar。
   • 从RDS管理控制台下载CA证书，并解压获得JKS文件。将此JKS文件上传至一个可访问的位置，如OSS bucket。

2. 编写Spark作业代码：

   • 在Spark作业中，指定正确的JDBC URL以启用SSL连接，包括信任证书的路径、密码等。示例代码如下：

   package org.example
   
   import org.apache.spark.sql.SparkSession
   
   object SparkReadSSLMySQL {
     def main(args: Array[String]): Unit = {
       val spark = SparkSession.builder().getOrCreate()
   
       // JKS文件的路径（确保Spark任务运行时能访问该路径）
       val trustStorePath = "oss://your_bucket/path/to/ApsaraDB-CA-Chain.jks"
       val trustStorePassword = "your_truststore_password"
       val mysqlUrl = s"jdbc:mysql://your_rds_endpoint:3306/your_database?useSSL=true&trustCertificateKeyStoreUrl=$trustStorePath&trustCertificateKeyStorePassword=$trustStorePassword&trustCertificateKeyStoreType=JKS"
   
       // RDS MySQL的登录凭证
       val user = "your_username"
       val password = "your_password"
       val dbName = "your_database"
       val tableName = "your_table"
   
       spark.read
         .format("jdbc")
         .option("driver", "com.mysql.cj.jdbc.Driver") // 注意使用cj.jdbc.Driver以支持SSL
         .option("url", mysqlUrl)
         .option("user", user)
         .option("password", password)
         .option("dbtable", s"$dbName.$tableName")
         .load()
         .show()
     }
   }
   

3. 打包并提交Spark作业：

   • 编译上述代码生成Spark作业的jar包，比如spark_read_ssl_mysql.jar。
   • 提交Spark作业时，确保作业能够访问到MySQL驱动和JKS文件。如果JKS文件存储在OSS上，作业执行环境需有相应的OSS访问权限。

4. 配置Spark作业的依赖：

   • 在提交Spark作业时，需包含MySQL JDBC驱动和您的Spark作业jar包作为依赖。如果使用Spark Submit，可以通过--jars和--files参数分别指定驱动和JKS文件。

5. 注意事项：

   • 安全设置：确保JKS文件和数据库凭据的安全，避免硬编码敏感信息。
   • 版本兼容性：确认MySQL驱动版本与RDS MySQL实例的版本兼容。
   • 网络访问：Spark作业执行环境需有访问RDS实例内网地址的权限。

通过以上步骤，您可以成功地通过Spark代码读取启用了SSL加密的RDS MySQL数据。