vLLM est un moteur de service de modèles de langage conçu pour le débit élevé sur GPU. Il regroupe dynamiquement les requêtes, gère efficacement la mémoire du cache d'attention et expose une API compatible avec celle d'OpenAI. Il convient aux usages avec beaucoup de requêtes simultanées.
Exemple
vllm serve mon-modele --port 8000