repartition et coalesce

repartition(n) redistribue les données en n partitions avec un shuffle complet, et peut augmenter ou diminuer leur nombre ou équilibrer leur taille. coalesce(n) réduit le nombre de partitions en fusionnant les voisines sans shuffle complet, plus économique mais pouvant laisser des partitions déséquilibrées.

Exemple

df.coalesce(10).write.parquet('sortie')

Notions voisines

Tout le glossaire