Le budget de contexte est la quantité de tokens disponible dans la fenêtre du modèle, à répartir entre consignes, historique, résultats d'outils et réponse. Quand il approche de la limite, on résume, on tronque ou on retire des éléments pour éviter de perdre l'essentiel.
Exemple
Résumer les 20 premiers échanges en 200 tokens pour libérer de la place.