请问下 spark怎么连oss，读取oss里的csv呢？-问答-阿里云开发者社区-阿里云

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问下 spark怎么连oss，读取oss里的csv呢？

请问下 spark怎么连oss，读取oss里的csv呢？

展开

收起

滴滴滴~ 2023-03-21 15:33:24 203 0

2 条回答

写回答

取消提交回答

凌云Cloud

发表文章、提出问题、分享经验、结交志同道合的朋友
- hadoop-oss：用于连接OSS存储，需要与具体的Spark版本兼容。
- aliyun-sdk-oss：用于连接OSS存储，需要与具体的OSS存储版本兼容。
- spark-csv：用于读取CSV文件，需要与具体的Spark版本兼容。
2023-03-21 17:46:16

赞同展开评论打赏
圆葱猪肉包

对DDI，可以直接免密访问。具体可以看一下oss的文档，需要添加jindoSDK依赖和配置ak和sk参数。此答案整理自钉群“Databricks数据洞察产品交流群”

2023-03-21 16:54:38

赞同展开评论打赏

问答分类：

分布式计算对象存储 Spark 对象存储

问答标签：

对象存储spark apache spark csv apache spark OSS 对象存储csv

问答地址：

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答

相关产品：

大数据开发治理平台 DataWorks

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

在机器学习PAI，读写csv能否让其和spark读写csv类似？

32

1

0

DataWorks是odps的，就是简单的从oss csv文件同步到odps表中。这个tunnel？

17

1

0

AnalyticDB数仓版，读取oss上csv文件中中文字符的问题，为什么报错？

228

1

0

Dataworks离线同步ODPS数据到OSS，文件格式为.csv，如何去掉后缀的乱码？

907

1

0

dataphin外部表读取OSS的CSV文件，执行完，书记是空的，没有读到csv文件。

787

0

0

pai只能读oss里面的csv格式的文件吗？

888

2

0

oss上的csv数据批量落表到mc，有什么实现方式嘛

690

1

0

oss上的csv数据批量到mc，在dw中如何操作啊

500

1

0

如何使spark默认支持解析csv文件？

351

1

0

DataWorks 采集oss中动态文件名的csv文件能否实现？

603

0

0

大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关文档：大数据开发治理平台 DataWorks

热门讨论

热门文章

DataWorks离线同步脏数据如何排查和定位?

DataWorks常量不可以设置数字吗？我数仓上原来是int类型的字段，因为数据库删掉了我补上去的，

你好，DataWorks改成了最外面是花括号还是不行，我冒烟测试选用的5月31日的然后期望是？

DataWorks中datahub有功能可以数据同步到 odps啊？

DataWorks怎么查看blink版本号？

DataWorks中DATAWORKS建表的时候支持事务表吗？

DataWorks中TableStore（OTS）配置面板说明是什么？

DataWorks中flink把增量数据打入odps？

DataWorks中为什么同样的spark代码在不同的maxcompute项目中执行有的报错？

dataworks的版本是3.16.2，里面支持的datax版本是多少啊？

展开全部

大数据公共数据集上线，免费试用TB级数据分析

大数据&AI的16种可能，2020阿里云客户最佳实践合集下载

DataWorks增强分析发布，一站式数据查询分析与可视化

【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

基于DataWorks搭建新零售数据中台

DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？

欢迎加入DataWorks产品钉钉交流群

金融科技数据湖构建和管理之道

DataWorks售前咨询

展开全部

相关课程

更多

大数据实时计算框架Spark快速入门

778

93

去学习

玩转对象存储OSS使用入门

5051

15

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

283

33

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

248

28

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段

180

21

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

324

9

去学习

相关电子书

更多

Hybrid Cloud and Apache Spark

立即下载

Scalable Deep Learning on Spark

立即下载

Comparison of Spark SQL with Hive

立即下载

相关实验场景

更多