Apache Spark 详解：从 RDD 到 Spark SQL 的高性能计算引擎

一、Spark 为什么快

Spark 相对于 MapReduce 的核心优势是内存计算——把中间结果保存在内存中而不是反复写磁盘。MapReduce 的每个步骤都需要将结果写回磁盘——对于迭代计算（机器学习训练就是典型的迭代计算）效率极低。

RDD 是 Spark 的核心抽象——弹性分布式数据集。它的核心能力是容错——通过记录数据变换操作的血统链在节点失败时重新计算丢失的分区。

二、核心组件

Spark SQL 是使用最广泛的组件——在分布式数据上执行 SQL 查询。MLlib 提供可扩展的机器学习算法库。Structured Streaming 处理实时流数据。

三、适用场景

Spark 的批处理能力强大——日报表和周期性 ETL 是其最佳适配场景。注意内存资源的分配——Spark 是内存消耗大户。