Jobs, stages et tâches

Chaque action lance un job, découpé en stages aux frontières de shuffle, eux-mêmes divisés en tâches, à raison d'une tâche par partition. Les tâches d'un stage s'exécutent en parallèle sur les executors. L'interface Spark UI affiche cette hiérarchie, essentielle pour repérer un stage lent.

Notions voisines

Tout le glossaire