Diagnostic d'un job

Diagnostiquer un job Spark lent consiste à lire la Spark UI : repérer le stage le plus long, comparer la durée des tâches, mesurer le volume de shuffle, de spill sur disque et la répartition des partitions. On corrige ensuite la cause, par exemple un déséquilibre, un nombre de partitions inadapté ou une jointure mal choisie.

Notions voisines

Tout le glossaire