La VRAM est la mémoire de la carte graphique. Un modèle exécuté sur GPU doit y loger ses poids, plus le cache d'attention et la mémoire de travail ; s'il ne tient pas, il est déchargé en partie vers le CPU ou ne se lance pas. La taille et la quantification du modèle déterminent le besoin.
Exemple
Un modèle de 8 milliards de paramètres en 4 bits demande de l'ordre de quelques gigaoctets de VRAM, plus le contexte.