Imaginez un archer qui ne voit pas la cible, mais à qui on annonce après chaque tir la distance exacte qui le sépare du centre. La fonction de perte (ou loss function) joue ce rôle pour un modèle d'apprentissage automatique : c'est une formule qui mesure, par un seul chiffre, l'écart entre les prédictions du modèle et la réalité attendue. Plus ce chiffre est élevé, plus le modèle se trompe.
Le moteur de l'apprentissage
L'entraînement d'un réseau de neurones consiste à minimiser cette perte. À chaque étape, l'algorithme calcule la perte, puis ajuste les poids du modèle dans la direction qui la fait diminuer — c'est la fameuse descente de gradient. La fonction de perte doit donc être dérivable : c'est sa pente (le gradient) qui indique vers où corriger.
Choisir la bonne perte
Le choix dépend de la tâche :
| Tâche | Fonction de perte | Intuition |
|---|---|---|
| Régression | Erreur quadratique moyenne (MSE) | Pénalise fort les grands écarts |
| Classification | Entropie croisée | Punit les prédictions confiantes mais fausses |
Pour la régression, la MSE s'écrit :
$$ \mathcal{L} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$
où $y_i$ est la vraie valeur et $\hat{y}_i$ la prédiction.
Perte, coût, objectif
On distingue parfois la perte (sur un exemple), le coût (moyenne sur tout le jeu de données) et la fonction objectif (le coût plus d'éventuels termes de régularisation). Une perte mal choisie peut rendre l'apprentissage instable ou orienter le modèle vers le mauvais but.
La fonction de perte ne décrit pas seulement l'erreur : elle définit, mathématiquement, ce que le modèle considère comme « réussir ».