Autograd est le moteur de différentiation automatique de PyTorch. Il enregistre les opérations sur les tenseurs qui demandent un gradient et, avec backward(), calcule les dérivées de la perte par rapport à chaque paramètre. Ces gradients alimentent l'optimiseur pour mettre à jour le modèle.
Exemple
w = torch.tensor(2., requires_grad=True)
(w ** 2).backward() # w.grad = 4