Une fonction d'activation applique une transformation non linéaire à la sortie d'un neurone. Sans elle, un empilement de couches linéaires resterait équivalent à une seule couche linéaire. ReLU (max(0, x)) est la plus courante dans les couches cachées ; sigmoïde et softmax servent surtout en sortie pour des probabilités.
Exemple
nn.ReLU()