我正在尝试使用数据库CSV READER创建一个通用函数来读取csv文件。但是该选项不是强制性的,它可以根据我的输入json配置文件而有所不同。
例1:
"ReaderOption":{
"delimiter":";",
"header":"true",
"inferSchema":"true",
"schema":"""some custome schema.."""
},
例2:
"ReaderOption":{
"delimiter":";",
"schema":"""some custome schema.."""
},
是否可以在运行时构造选项或整个read语句并在spark中运行?
如下,
def readCsvWithOptions(): DataFrame=
{
val options:Map[String,String]= Map("inferSchema"->"true")
val readDF = jobContext.spark.read.format("com.databricks.spark.csv")
.option(options)
.load(inputPath)
readDF
}
def readCsvWithOptions():DataFrame = {
val选项:Map [String,String] = Map(“inferSchema” - >“true”)val readDF = jobContext.spark.read.format(“com.databricks.spark.csv”)。option(options).load( inputPath)readDF}
有一个选项,需要键,值对。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。