到底该选谁？Hadoop、Spark、Flink、云大数据的“江湖全景图”

作者：Echo_Wish｜一个把大数据踩在脚下又踩了无数坑的自媒体人

大数据领域这些年最大的变化是什么？不是工具越来越多，也不是技术越来越炫，而是大家都越来越“务实”了——不再追求名词堆砌，而是追求一句朴素的问题：

“我到底该用哪个？”

今天咱就不整那些花里胡哨的内容，咱就像喝一杯啤酒一样，简简单单把 Hadoop、Spark、Flink 再加上云服务的家底给你扒个明白，顺便说说我这些年从“拍脑袋选型”到“脚踏实地决策”的心路历程。

一、Hadoop：曾经的大哥，现在的“企业级老干部”

你要说 Hadoop 不行了吗？那肯定是没见过它在大型企业里的“存量市场”。
Hadoop 的价值现在主要集中在三个字：能抗造。

• 数据量超大？抗造
• 要稳定、皮实？抗造
• 公司已经买了几千万的集群？更抗造（都沉没成本了你懂的）

HDFS + YARN + MapReduce 的组合虽然古早，但你不得不承认：稳定、能跑、能撑住业务。
但缺点也明显：慢、开发门槛高、迭代慢、不够云时代。

来一段 MapReduce 时代的代码，感受下什么叫“老干部作风”：

// Hadoop MapReduce 示例：统计单词
public static class TokenizerMapper 
     extends Mapper<Object, Text, Text, IntWritable>{
   
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) 
           throws IOException, InterruptedException {
   
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
   
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

写一次，怀疑人生一次。

二、Spark：大数据的“瑞士军刀”

Spark 在我心里的地位就是：谁都能用、啥也能干。

• 批处理？强
• SQL？强
• 机器学习？也能玩
• 构建数据湖？One Lake、Iceberg 都有人玩

Spark 最大的好处是“生态完备 + 生产率高”。尤其是 SQL 统一计算的趋势下，Spark SQL 和 Spark Structured Streaming 在企业中是妥妥的台柱子。

来个 Spark 的经典 wordcount，你体验下什么叫“开发者友好”：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("WordCount").getOrCreate()
df = spark.read.text("input.txt")

words = df.selectExpr("explode(split(value, ' ')) as word")
result = words.groupBy("word").count()

result.show()

一句 split，一句 explode 就搞定了。
跟 MapReduce 那段比，你明白为什么 Spark 能火10年。

但 Spark 的问题也不是没有：

• 在实时计算上延迟还是偏高
• 任务管理复杂，需要比较强的 DevOps 能力
• Shuffle 大负载下性能不可控

三、Flink：实时流式计算的“狠角色”

一句话概括 Flink：

Spark 是大数据界的瑞士军刀，Flink 则是实时计算界的武士刀。

如果你问我“实时计算做得最好的是啥？”
不用犹豫：Flink！

它的特点非常鲜明：

• 毫秒级延迟
• Exactly Once 语义实现得漂亮
• 事件驱动模型天生适合实时场景
• Checkpoint + StateBackend 稳得一批

写个简单 Flink 流处理代码，你就能感受到那种“实时数据从指缝中流过”的快感：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

DataStream<String> stream = env.socketTextStream("localhost", 9999);

stream
  .flatMap(new LineSplitter())
  .keyBy(value -> value)
  .sum(1)
  .print();

env.execute("Flink WordCount");

相比 Spark Streaming 的 micro-batch，Flink 的 真流式（Stream-first）架构在实时计算里真的是降维打击。

缺点也不是没有：

• 生态不如 Spark 全
• 对运维要求高（特别是状态管理）
• 新手学习曲线陡峭

但如果你是银行、广告、电商实时场景，Flink 绝对是王者。

四、云服务：大数据界真正的“颠覆者”

老实说，近三年我写过最多的不是 Hadoop，也不是 Spark 或 Flink，而是：

云数仓、云湖仓、云原生计算服务。

因为它们解决了企业最痛的问题：

• 不想运维？云帮你
• 不想调优？云帮你
• 不想管理集群扩缩容？云帮你
• 不想买服务器？云的账单周期更短

典型产品：

• AWS EMR / Glue / Redshift
• Azure Synapse / Fabric
• GCP Dataproc / BigQuery
• 阿里云 MaxCompute / EMR / Hologres
• 华为云 MRS / DLI / DWS

云的优势总结成一句话：

“把钱花在业务，而不是机器和运维上。”

尤其是湖仓一体产品（Iceberg/Delta Lake/OSS/HDFS 混合），已经大幅提升了数据工程效率。

云服务的小 demo 用 PySpark 提交任务示例如下：

aws emr add-steps \
--cluster-id j-XXXX \
--steps Type=Spark,Name="wordcount",Args=[--class,com.example.App,s3://bucket/app.jar]

一句命令就能跑了，谁还想再维护 Yarn 配置？

五、四者怎么选？给你最接地气的答案

别管网上各种理论争论，我给你一句“人话版”的选型指南：

1. 数据量极大 + 成本敏感 + 老企业

→ 用 Hadoop（因为它已经沉没成本了）

2. 通用计算 + SQL 需求多 + 批处理为主

→ Spark（不容易选错）

3. 需要亚秒级实时流处理

→ Flink（一招鲜吃遍天）

4. 想把运维全部甩掉 + 要快上线 + 要灵活弹性

→ 云（趋势无敌）

5. 如果你问未来是谁？

→ 云 + Spark + Flink 的组合。

Hadoop？会越来越像“企业里的水电煤”，重要但不性感。

六、写在最后：技术不选最好，只选最合适

这些年我最大的变化就是：

以前我追技术，啥火追啥；
现在我解决问题，啥合适用啥。