由于Spark是在Hadoop家族之上发展出来的，因此底层为了兼容hadoop,支持了多种的数据格式。如S3、HDFS、Cassandra、HBase，有了这些数据的组织形式，数据的来源和存储都可以多样化~
本文转自博客园xingoo的博客，原文链接：《Spark快速大数据分析》—— 第五章 数据读取和保存，如需转载请自行联系原博主。
《Spark快速大数据分析》—— 第五章 数据读取和保存
2017-12-04
1261
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
3月前
|
存储
机器学习/深度学习
分布式计算
|
3天前
|
数据采集
数据可视化
数据挖掘
Pandas数据应用：天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库，适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析（如滚动平均和重采样）等内容，并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法，帮助用户更好地进行气候趋势预测和决策。
92
71
72
|
2月前
|
存储
分布式计算
数据挖掘
|
2月前
|
存储
分布式计算
大数据
|
2天前
|
存储
数据采集
数据可视化
Pandas数据应用：电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析，涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据，利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等，提供解决方案，如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化，探讨内存不足和性能瓶颈的应对方法，并总结常见报错及解决策略，帮助提升电商企业的数据分析能力。
95
73
73
|
2月前
|
数据采集
监控
数据管理
数据治理之道：大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展，数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理，包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理，为企业数据治理提供参考。
97
1
1
|
2月前
|
存储
机器学习/深度学习
数据可视化
|
4天前
|
数据采集
数据可视化
索引
Pandas数据应用：股票数据分析
本文介绍了如何使用Pandas库进行股票数据分析。首先，通过pip安装并导入Pandas库。接着，从本地CSV文件读取股票数据，并解决常见的解析错误。然后，利用head()、info()等函数查看数据基本信息，进行数据清洗，处理缺失值和重复数据。再者，结合Matplotlib和Seaborn进行数据可视化，绘制收盘价折线图。最后，进行时间序列分析，设置日期索引、重采样和计算移动平均线。通过这些步骤，帮助读者掌握Pandas在股票数据分析中的应用。
31
5
9
|
16天前
|
数据采集
监控
数据挖掘
常用电商商品数据API接口（item get）概述，数据分析以及上货
电商商品数据API接口（item get）是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息，包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要，是商品数据分析、价格监控、上货策略制定等工作的基础。
39
1
1
|
2月前
|
机器学习/深度学习
存储
大数据
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系，保留最大方差信息，实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现，探讨其在图像压缩、特征提取等领域的应用，并指出使用时的注意事项，旨在帮助读者掌握这一强大工具。
92
4
4
热门文章
最新文章
1
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
2
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
3
深入探索人工智能与大数据的融合之路
4
大数据时代的引擎：大数据架构随记
5
大数据& AI 产品月刊【2024年11月】
6
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
7
智能化运维：AI与大数据在IT运维中的应用探索####
8
DataWorks产品评测：大数据开发治理平台的最佳实践与体验
9
聊聊DataWorks——这个一站式智能大数据开发治理平台
10
用户画像分析（MaxCompute简化版）
1
【MongoDB 专栏】MongoDB 在实时数据分析中的应用
240
2
如何利用Python中的Pandas库进行数据分析和可视化
181
3
.NET Compact Framework下的GPS NMEA data数据分析（二）转
51
4
【MongoDB 专栏】MongoDB 聚合管道：数据分析利器
122
5
使用Python进行数据分析的5个必备技巧
102
6
Python 与 PySpark数据分析实战指南：解锁数据洞见
112
7
电商数据分析的利器：电商关键词搜索API接口（标题丨图片丨价格丨链接）
148
8
R语言电影数据分析：随机森林探索电影受欢迎程度因素、参数调优可视化
99
9
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告
82
10
Python数据分析中的异常检测与处理方法
179