Jointures distribuées

Une jointure distribuée associe deux DataFrames sur une clé. Spark choisit une stratégie selon la taille des tables : jointure par diffusion pour une petite table, ou jointure par tri-fusion (sort-merge) qui redistribue les deux côtés par la clé via un shuffle. Le choix pèse fortement sur la durée et l'utilisation du réseau.

Exemple

commandes.join(clients, 'id_client', 'left')

Notions voisines

Tout le glossaire