本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.3节,作者：文卡特·安卡姆（Venkat Ankam） 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1.3 工具和技术
让我们来看看在 Hadoop 和 Spark 中用于大数据分析的不同工具和技术。
虽然 Hadoop 平台可以用于存储和处理数据，但 Spark 只能通过将数据读入内存来进行处理。
下表展示了典型大数据分析项目中所使用的工具和技术。
《Spark与Hadoop大数据分析》一一
2017-07-03
1258
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
4月前
|
SQL
分布式计算
Hadoop
|
13天前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
32
1
1
|
3月前
|
机器学习/深度学习
SQL
分布式计算
|
4月前
|
消息中间件
分布式计算
大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
72
0
0
|
4月前
|
SQL
分布式计算
大数据
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）
55
0
0
|
4月前
|
分布式计算
大数据
Scala
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
92
1
1
|
3月前
|
分布式计算
Hadoop
大数据
|
3月前
|
SQL
分布式计算
Hadoop
|
3月前
|
分布式计算
Hadoop
数据处理
|
4月前
|
分布式计算
资源调度
搜索推荐
热门文章
最新文章
1
利用Hive与Hadoop构建大数据仓库：从零到一
2
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
3
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
4
大数据处理架构Hadoop
5
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
6
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
7
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
8
【Hadoop】HDFS 读写流程
9
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
10
【Hadoop Yarn】Yarn 工作机制
1
Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
8
2
【Flink】Flink跟Spark Streaming的区别？
39
3
大数据技术与Python：结合Spark和Hadoop进行分布式计算
32
4
Paimon与Spark
26
5
bigdata-36-Spark转换算子与动作算子
4
6
Paimon 与 Spark 的集成（二）：查询优化
117495
7
阿里云 EMR Serverless Spark 版免费邀测中
394
8
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
98
9
安装Spark
34
10
Spark环境搭建与使用
36