Le décodage est la manière de choisir le token suivant à partir de la distribution de probabilités du modèle. La température rend le choix plus déterministe (faible) ou plus varié (élevée). Le top-p restreint l'échantillonnage aux tokens les plus probables dont la somme atteint p ; le top-k aux k premiers.
Exemple
temperature=0.2, top_p=0.9