Écriture partitionnée

L'écriture partitionnée enregistre un DataFrame en créant un sous-dossier par valeur de colonne (partitionBy), souvent en Parquet. Les lectures qui filtrent sur cette colonne ne parcourent que les dossiers concernés. Il faut choisir une colonne à cardinalité modérée pour éviter une multitude de petits fichiers.

Exemple

df.write.partitionBy('annee', 'mois').mode('overwrite').parquet('sortie/ventes')

Notions voisines

Tout le glossaire