一、Spark的优势
Spark是基于内存计算的分布式计算引擎，相比MapReduce在迭代计算和交互式查询上性能提升显著。统一的编程模型支持批处理、流处理和机器学习。
一）核心抽象
RDD是Spark的核心抽象，DataFrame和Dataset提供更高级的API，Spark SQL支持SQL查询。内存计算和弹性调度是Spark高性能的基础。
二、常用组件
Spark SQL处理结构化数据，Spark Streaming和Structured Streaming处理流数据，MLlib提供机器学习算法库，GraphX处理图计算。
一）性能优化
分区合理设置、避免数据倾斜、缓存常用数据和使用广播变量是常见优化手段。监控Spark UI定位性能瓶颈，理解执行计划是调优的前提。
三、应用场景
ETL数据处理、实时分析、机器学习特征工程和推荐系统是Spark的典型场景。与数据仓库和数据湖结合，Spark是数据平台的核心计算引擎。
Spark让大规模数据处理更高效，掌握DataFrame和SQL操作是入门的快捷路径。