AI 助理
备案控制台
开发者社区 问答 正文

Spark程序中使用SQL语句加载数据文件并创建一个RDD的方法是什么？

Spark程序中使用SQL语句加载数据文件并创建一个RDD的方法是什么？

展开
收起
游客qzzytmszf3zhq 2021-12-09 20:11:19 530 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客yzrzs5mf6j7yy

    scala> val yahoo_stocks =sc.textFile("hdfs://SZB-L0023776:8020/tmp/yahoo_stocks.csv")

    yahoo_stocks: org.apache.spark.rdd.RDD[String] =

    hdfs://SZB-L0023776:8020/tmp/yahoo_stocks.csv MapPartitionsRDD[2] at textFile at :30

    2021-12-09 20:11:36
    赞同 展开评论
问答分类：
SQL 分布式计算 Spark
问答标签：
SQL数据 apache spark SQL SQL方法 程序SQL SQL spark
问答地址：
开发者社区 > 大数据 > 问答
相关问答
E-MapReduce开启使用DLF统一元数据后本地开发spark程序想访问emr hive中...
75
0
0
在大数据计算MaxCompute中，云下的spark程序如何才能访问oss外表数据呢？
130
2
0
请问我再dataworks中建了ODPS Spark任务，任务对应的spark程序中调用了我们自己？
125
3
0
Dataworks运行scala-spark程序一直不动？
115
1
0
在表格存储中spark写入ots程序没有报错，但是为什么查询ots的时候，发现没有数据？
125
2
0
MaxCompute中spark程序里查询和处理的数据量有限制吗？
109
3
0
大数据计算MaxCompute在spark程序里面操作表数据，应该一次查询多少条 ?
91
1
0
大数据计算MaxCompute spark 程序里如何访问redis?
100
2
0
大数据计算MaxCompute通过spark程序访问lindorm，连接不成功是什么原因呢？
96
1
0
dataworks里的spark程序连接数据源，需要开通或者配置什么？
97
1
0