开发者社区> 问答> 正文

storm&spark2中若df中加载的不是数据库而是其他文件要怎么处理呀?

已解决

storm&spark2中若df中加载的不是数据库而是其他文件要怎么处理呀?

展开
收起
solitude. 2022-11-02 14:03:21 1259 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    要表明路径在哪里,对于空格或逗号是否自动识别,具体如下。

    tmp = sqlcontext.read.format("csv")\ #读取格式CSV

       .options(path = table["path"])\    #设置文件路径
    
       .options(inferSchema = "true")\    #设置自动识别Schema
    
       .options(header = "true")\          #设置header为true
        
       .options(sep = ",")                 #设置csv分隔符   
    

    df = tmp.load()

    2022-11-02 14:23:15
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载