Spark SQL

Spark SQL permet d'interroger des données distribuées avec du SQL standard, en parallèle de l'API DataFrame. Les deux passent par le même optimiseur et produisent les mêmes plans : on choisit selon la lisibilité. spark.sql() retourne un DataFrame.

Exemple

spark.sql('SELECT pays, SUM(montant) FROM ventes GROUP BY pays')

Notions voisines

Tout le glossaire