Découper et indexer des documents

De la démonstration à la production

Un prototype de RAG tient en quelques lignes : découper un texte tous les 200 mots, calculer des vecteurs, chercher les plus proches, les coller dans le prompt. En production, les difficultés sont ailleurs : des centaines de documents hétérogènes, des mises à jour quotidiennes, des droits d’accès différents selon les équipes, et des utilisateurs qui veulent vérifier la source d’une réponse. Ce cours traite ces questions, en partant de la base : un pipeline d’indexation fiable.

Le pipeline d’indexation

L’indexation est un traitement séparé de l’interrogation, exécuté en tâche de fond à chaque ajout ou modification de document :

1. Extraire le texte (PDF, pages web, outil de documentation, tickets). La qualité de l’extraction conditionne tout le reste : en-têtes de page répétés, tableaux aplatis, colonnes mélangées dégradent la recherche.
2. Nettoyer : supprimer les éléments répétitifs, normaliser les espaces, conserver les titres.
3. Découper en morceaux (chunks).
4. Encoder chaque morceau en vecteur (leçon 2).
5. Stocker texte, vecteur et métadonnées dans l’index.

Le pipeline doit être reproductible : relancé sur les mêmes documents, il produit les mêmes morceaux avec les mêmes identifiants.

Découper selon la structure

Un découpage à taille fixe coupe au milieu des phrases et mélange deux sections dans un même morceau. Les documents d’entreprise ont presque toujours une structure (titres Markdown ou HTML, styles de titres dans un traitement de texte) : on s’en sert.

def split_sections(markdown, doc_id):
    sections, path, buffer = [], [], []
    for line in markdown.splitlines():
        match = re.match(r"^(#{1,6})\s+(.+)$", line)
        if match:
            # on enregistre la section précédente, puis on met à jour le chemin
            ...
            level = len(match.group(1))
            path[:] = path[:level - 1] + [match.group(2).strip()]
        else:
            buffer.append(line)

Le chemin de titres est conservé : un paragraphe « Le report est limité à 5 jours » n’a de sens qu’avec son contexte « Congés payés > Report ».

Puis borner la taille

Une section peut être très longue. On regroupe alors ses paragraphes dans des morceaux qui ne dépassent pas une taille maximale (en mots ici, en tokens en production), sans jamais couper un paragraphe s’il tient :

• on ajoute les paragraphes un à un tant que la limite n’est pas dépassée ;
• quand le suivant ne tient plus, on ferme le morceau ;
• le nouveau morceau reprend le dernier paragraphe du précédent (recouvrement), si cela tient dans la limite.

Le recouvrement évite qu’une information à cheval sur deux morceaux soit introuvable. Il a un coût : du texte dupliqué dans l’index et parfois dans le prompt. Un paragraphe seul plus long que la limite forme son propre morceau (ou est redécoupé par phrases).

Identifiants et métadonnées

Chaque morceau reçoit un identifiant stable, par exemple politique-conges#3 (document et rang). Il sert aux citations, à l’évaluation et aux mises à jour. On y attache des métadonnées :

{
    "chunk_id": "politique-conges#3",
    "doc_id": "politique-conges",
    "path": "Congés payés > Report",
    "text": "Le report est limité à 5 jours...",
    "embed_text": "Congés payés > Report\n\nLe report est limité à 5 jours...",
    "organization_id": 12, "visibility": "rh", "version": "2026-09",
}

embed_text (chemin + texte) est ce que l’on encode ; text est ce que l’on affiche et cite. Les champs organization_id et visibility serviront au filtrage par droits (leçon 5).

Régler et vérifier

Il n’existe pas de taille idéale universelle. Des morceaux trop petits perdent leur contexte ; trop grands, ils diluent l’information et remplissent le prompt. On part d’une valeur raisonnable (quelques centaines de tokens), puis on mesure sur un jeu de questions de référence (leçon 4) en comparant plusieurs réglages. Inspectez aussi des morceaux au hasard : c’est le moyen le plus rapide de repérer une extraction ratée.

À retenir

• L’indexation est un pipeline reproductible, séparé de l’interrogation.
• Découpez par la structure, bornez la taille, ajoutez un recouvrement.
• Identifiants stables et métadonnées rendent possibles citations, droits et mises à jour.