Évaluation paresseuse

L'évaluation paresseuse signifie que Spark ne calcule rien quand on déclare des transformations : il construit un plan logique. Le calcul ne démarre qu'à l'appel d'une action. Ce fonctionnement permet d'optimiser l'ensemble du plan, de regrouper des opérations et d'éviter de lire des données inutiles.

Exemple

df2 = df.filter('montant > 0')  # rien n'est calculé
df2.count()  # l'action déclenche le calcul

Notions voisines

Tout le glossaire