Apache Spark 3.0:新特性与优化全解析
1. 机器学习管道管理与部署最佳实践
在机器学习领域,有效的管理和部署机器学习管道至关重要。以下是一些关键要点:
- MLflow 的作用 :MLflow 可助力跟踪和重现实验,还能将代码及其依赖打包,便于在其他环境部署。
- 部署选项及权衡 :主要有批量、流式和实时三种部署方式,各有优劣。MLlib 适合大规模模型训练和批量/流式用例,但在小数据集的实时推理方面,单节点模型可能更具优势。部署需求会直接影响可使用的模型和框架类型,因此在构建模型前,务必明确这些需求。
2. Spark Core 和 Spark SQL 新特性
2.1 动态分区剪枝(Dynamic Partition Pruning,DPP)
动态分区剪枝的核心思想是跳过查询结果中不需要的数据。典型场景是连接两个表:一个分区的事实表和一个未分区的维度表。以下是具体操作步骤:
1. 构建查询:例如,执行 SELECT * FROM Sales JOIN ON Sales.date = Date.date 。
2. 优化过程:
- Spark 在维度表一侧构建哈希表。
- 将查询结果插入哈希表,并分配给广播变量,分发给所有参与连接操作的执行器。
- 每个执行器探查广播的哈希表,确定从事实表读取哪些对应行。
- 最后,将过滤器动态注入事实表的文件扫描操作,仅扫描匹配过滤器的分区,读取所需数据。
DPP 默认启用,能显著提升 Spark 3
订阅专栏 解锁全文
1369



被折叠的 条评论
为什么被折叠?



