我正在尝试使用数据库CSV READER创建一个通用函数来读取csv文件。但是该选项不是强制性的,它可以根据我的输入json配置文件而有所不同。
例1:
"ReaderOption":{
                "delimiter":";",
                "header":"true",
                "inferSchema":"true",
                "schema":"""some custome schema.."""
        },
例2:
"ReaderOption":{
                    "delimiter":";",
                    "schema":"""some custome schema.."""
            },
是否可以在运行时构造选项或整个read语句并在spark中运行?
如下,
def readCsvWithOptions(): DataFrame=
{
val options:Map[String,String]= Map("inferSchema"->"true")
  val readDF = jobContext.spark.read.format("com.databricks.spark.csv")
   .option(options)
  .load(inputPath)
  readDF
}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
def readCsvWithOptions():DataFrame = {
val选项:Map [String,String] = Map(“inferSchema” - >“true”)val readDF = jobContext.spark.read.format(“com.databricks.spark.csv”)。option(options).load( inputPath)readDF}
有一个选项,需要键,值对。