Principes d'un pipeline ETL

Chaque lundi, une analyste télécharge trois exports, les nettoie dans un tableur, les colle dans un fichier de suivi. Une erreur de copier-coller, et le comité de direction reçoit de faux chiffres. Un pipeline ETL automatise ce travail de façon fiable et reproductible.

Les trois étapes

• Extract (extraire) : lire les données là où elles sont (fichiers CSV, API, base de production) sans les modifier.
• Transform (transformer) : nettoyer, typer, normaliser, joindre, agréger, calculer des indicateurs.
• Load (charger) : écrire le résultat dans la destination (entrepôt de données, base analytique, fichier).

ETL ou ELT ?

En ETL, on transforme avant de charger. En ELT, on charge d’abord les données brutes dans l’entrepôt, puis on transforme en SQL directement dans l’entrepôt. L’ELT s’est largement répandu avec les entrepôts cloud puissants et des outils comme dbt : on garde l’historique brut et on peut rejouer les transformations. Les principes de ce cours valent pour les deux : seules les étapes changent de place.

Découper en fonctions

Un pipeline lisible se compose de petites fonctions à responsabilité unique :

import io
import pandas as pd

def extraire(texte_csv):
    # lit la source sans rien modifier
    return pd.read_csv(io.StringIO(texte_csv))

def transformer(df):
    # fonction pure : ne modifie pas son entrée, renvoie un nouveau DataFrame
    sortie = df.copy()
    sortie["client"] = sortie["client"].str.strip().str.lower()
    sortie = sortie[sortie["montant"] > 0]
    return sortie.groupby("client", as_index=False)["montant"].sum()

def charger(df, destination):
    # remplace entièrement le contenu de la destination
    destination.clear()
    destination.extend(df.to_dict("records"))

source = "client,montant\n Alice ,10\nbob,5\nalice,7\nbob,-2\n"
entrepot = []                       # une liste joue ici le rôle de la destination
charger(transformer(extraire(source)), entrepot)
print(entrepot)   # [{'client': 'alice', 'montant': 17}, {'client': 'bob', 'montant': 5}]

Une fonction pure renvoie toujours le même résultat pour la même entrée et ne modifie rien autour d’elle. On peut la tester avec un petit DataFrame, sans base de données ni réseau.

L’idempotence

Un pipeline sera relancé : après une panne, une correction, un rattrapage. Il doit être idempotent : le relancer sur les mêmes données produit le même état final, sans doublons.

charger(transformer(extraire(source)), entrepot)   # deuxième exécution
print(len(entrepot))                               # toujours 2 lignes : idempotent

Si charger faisait un simple ajout (extend sans clear), la seconde exécution doublerait les données : c’est l’un des bugs les plus fréquents en production. Les stratégies idempotentes sont le remplacement (d’une table ou d’une partition, par exemple une journée) et l’upsert (insérer ou mettre à jour selon une clé), vus en leçon 5.

Paramétrer plutôt que coder en dur

La date traitée, le chemin source ou la connexion sont des paramètres : executer_pipeline(date="2026-11-09", source=..., destination=...). On peut alors rejouer n’importe quel jour et tester avec des données factices.

À retenir

• Extraire sans modifier, transformer avec des fonctions pures, charger de façon idempotente.
• ETL et ELT diffèrent par l’endroit où se fait la transformation.
• Paramètres explicites ; tester qu’une double exécution ne change rien.