Héberger des modèles d'IA en local avec Ollama et vLLM
Héberger des modèles d'IA en local est un cours de niveau avancé de 5 leçons (environ 1 h 40), avec 15 exercices et 15 questions de quiz. Prérequis : Docker et déploiement. Le cours demande un environnement de projet complet, prévu dans une phase ultérieure de la plateforme.
- IA générative
- Avancé
- 5 leçons
- 1 h 40
- 15 exercices
- Environnement de projet complet (phase 2)
Le cours en bref
Ce cours vous apprend à servir des modèles de langage ouverts sur votre propre infrastructure. Vous lancez et interrogez Ollama, situez vLLM, choisissez un modèle et sa quantification, estimez la mémoire GPU et mesurez le débit, puis concevez une passerelle « local d'abord, cloud en secours » et sécurisez le serveur. Les exercices se font dans un vrai terminal Linux, avec quelques calculs en Python.
Ce que tu sauras faire
- Lancer, interroger et configurer un modèle avec Ollama, et situer vLLM
- Choisir un modèle ouvert selon la tâche, la langue, la licence et la quantification
- Estimer la VRAM nécessaire (poids, cache d'attention, marge) et mesurer le débit
- Concevoir une passerelle local d'abord avec escalade contrôlée, plafond et repli
- Sécuriser un serveur de modèles : exposition réseau, authentification, provenance des modèles
Programme des 5 leçons
- Expliquer pourquoi et quand héberger un modèle soi-même
- Télécharger, lancer et interroger un modèle avec Ollama
- Situer vLLM par rapport à Ollama et connaître son API compatible OpenAI
- 02
Choisir un modèle et sa quantification
- Lister les critères de choix d'un modèle ouvert
- Expliquer la quantification et son effet sur la taille et la qualité
- Estimer la taille des poids d'un modèle selon sa précision
- 03
VRAM et débit
- Estimer la mémoire GPU nécessaire : poids, cache d'attention et marge
- Mesurer le débit en tokens par seconde à partir des réponses du serveur
- Relier contexte, requêtes simultanées et mémoire
Mémoire GPU (VRAM)Cache d'attention (KV cache)Débit et latence
- 04
Passerelle « local d'abord, cloud en secours »
- Concevoir une passerelle unique pour tous les appels de modèles
- Écrire une politique de routage local d'abord avec escalade contrôlée
- Prévoir anonymisation, plafond de dépenses, repli et journalisation
Passerelle IARoutage et escaladeRepli et plafond de dépenses
- 05
Sécuriser un serveur de modèles
- Limiter l'exposition réseau d'un serveur de modèles
- Contrôler la provenance et le format des modèles chargés
- Protéger le service contre l'abus et les fuites de données
Exposition réseauProvenance des modèlesAbus et fuites de données
Projet final
Déployer un modèle local derrière une passerelle sécurisée
Déployez avec Docker Compose un serveur Ollama et une petite passerelle (Python ou PHP) qui expose une seule route de conversation. Le serveur de modèles n'est joignable que par la passerelle. La passerelle applique la politique « local d'abord » (avec un fournisseur cloud simulé par un service factice), un plafond de dépenses en unités fictives, une anonymisation des sorties vers le cloud, un repli explicite et la journalisation de chaque appel. Joignez une note de dimensionnement de la VRAM pour le modèle visé en production.
Livrables
- Le fichier compose.yml (réseau interne, aucun port de modèle publié) et le Modelfile versionné
- Le code de la passerelle : routage, contrôle de santé, anonymisation, plafond, repli
- Un journal d'appels montrant au moins un appel local, une escalade et un repli
- Un script de mesure du débit à partir des réponses du serveur, avec ses résultats sur votre machine
- Une note de dimensionnement : calcul des poids, du cache d'attention et de la marge pour la cible de production
Critères d'évaluation
- Le serveur de modèles n'écoute pas sur une interface publique (vérification avec ss ou docker port)
- Les tâches marquées locales ne sont jamais escaladées et le plafond est respecté
- Aucun secret n'est présent dans le dépôt
- Les mesures de débit sont issues de votre exécution, avec la méthode de calcul expliquée
- Le calcul de VRAM détaille poids, cache et marge et précise ses hypothèses
Questions fréquentes
Faut-il un GPU pour suivre ce cours ?
Non. Les exercices utilisent un petit modèle qui fonctionne sur CPU dans le terminal en ligne. Le cours explique comment dimensionner un serveur GPU, mais vous pouvez tout pratiquer sans carte graphique.
Le cours donne-t-il des mesures de performance de modèles ?
Non. Les performances dépendent du matériel, du modèle, de la quantification et de la charge. Le cours vous apprend à les mesurer vous-même à partir des réponses du serveur.
Ollama ou vLLM : lequel apprendre ?
Les deux. Ollama est le plus simple pour démarrer et pour les petits volumes ; vLLM est conçu pour servir de nombreuses requêtes simultanées sur GPU. Grâce à leur API compatible OpenAI, on passe de l'un à l'autre sans réécrire l'application.
Quels prérequis faut-il ?
Être à l'aise avec le terminal et Docker (cours B4). Des bases de Python aident pour les calculs de mémoire.
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Héberger des modèles d'IA en local » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.