Un optimiseur met à jour les paramètres du modèle à partir des gradients. SGD applique un pas proportionnel au gradient, avec éventuellement un moment ; Adam adapte le pas pour chaque paramètre. Le taux d'apprentissage (lr) est l'hyperparamètre déterminant. step() applique la mise à jour.
Exemple
optimiseur = torch.optim.Adam(modele.parameters(), lr=1e-3)