Le coût par requête est la dépense moyenne d'un appel, calculée à partir des tokens en entrée et en sortie et du tarif du modèle, ou du coût de calcul pour un modèle hébergé. Il se suit avec la qualité et la latence pour juger si une solution reste viable à grande échelle.
Exemple
coût moyen = dépense totale / nombre de requêtes