Exécution adaptative (AQE)

L'exécution adaptative (AQE, Adaptive Query Execution) ajuste le plan de requête pendant l'exécution grâce aux statistiques réelles des étapes précédentes : fusion de petites partitions après un shuffle, changement de stratégie de jointure, traitement des partitions déséquilibrées. Elle est activée par défaut dans les versions récentes de Spark.

Exemple

spark.conf.set('spark.sql.adaptive.enabled', 'true')

Notions voisines

Tout le glossaire