问题一：存算分离架构的主要优势是什么？
存算分离架构的主要优势是什么？
参考回答：
存算分离架构的主要优势在于它解耦了计算和存储，使得计算节点可以设计为强CPU弱磁盘，而存储节点则强磁盘强网络弱CPU。这种设计使得计算节点无状态，可以根据负载弹性伸缩，而存储端则可以通过对象存储(OSS, S3)和数据湖格式(Delta, Iceberg, Hudi)等方案实现容量无限的存储服务。用户可以通过计算弹性+存储按量付费的方式获得成本节约。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/670704
问题二：为什么Shuffle对本地盘的依赖限制了存算分离的实现？
为什么Shuffle对本地盘的依赖限制了存算分离的实现？
参考回答：
Shuffle对本地盘的依赖限制了存算分离的实现，因为传统Shuffle机制要求Mapper将Shuffle数据按PartitionId排序后写入本地磁盘，再由Reducer从每个Mapper的本地输出中读取属于自己的Block。这种对本地盘的强依赖使得计算节点无法完全无状态，从而限制了存算分离架构的灵活性。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/670706
问题三：高网络连接数在Shuffle过程中是如何导致性能和稳定性问题的？
高网络连接数在Shuffle过程中是如何导致性能和稳定性问题的？
参考回答：
在Shuffle过程中，Reducer需要从多个Mapper的输出中读取数据，这会导致高网络连接数。每个连接都需要消耗CPU资源进行管理和维护，当连接数过高时，会消耗大量的CPU资源在连接管理上，导致用于实际计算的CPU资源减少，从而引发性能和稳定性问题。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/670709
问题四：Sailfish是何时提出的？它的主要特点是什么？
Sailfish是何时提出的？它的主要特点是什么？
参考回答：
Sailfish在2012年提出，它最早提出了Push Shuffle + Partition数据聚合的方法，这种方法对大作业有20%-5倍的性能提升。然而，Sailfish魔改了分布式文件系统KFS，并不支持多副本。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/670710
问题五：Google BigQuery和Cloud Dataflow是如何处理Shuffle的？
Google BigQuery和Cloud Dataflow是如何处理Shuffle的？
参考回答：
Google BigQuery和Cloud Dataflow在2018年实现了Shuffle与计算的解耦，采用了多层存储（内存+磁盘），但没有披露更多关于Shuffle处理的具体技术细节。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/670711
