Le compromis biais-variance décrit l'erreur d'un modèle : le biais vient d'hypothèses trop simples (sous-apprentissage), la variance d'une sensibilité excessive aux données d'entraînement (surapprentissage). Augmenter la complexité diminue le biais et accroît la variance. Le but est de trouver l'équilibre qui minimise l'erreur de généralisation.