Imaginez un lecteur qui, en parcourant un roman, garde en tête le nom du héros apparu au premier chapitre tout en oubliant les détails inutiles. C'est exactement ce que fait un LSTM (Long Short-Term Memory) : un type de réseau de neurones récurrent (RNN) conçu pour mémoriser des informations sur de longues séquences sans les laisser s'évaporer.
Le problème qu'il résout
Les RNN classiques souffrent du gradient évanescent : lors de l'apprentissage, le signal d'erreur s'affaiblit en remontant le temps, rendant impossible la mémorisation d'événements lointains. Le LSTM, introduit par Hochreiter et Schmidhuber en 1997, ajoute une cellule de mémoire ($C_t$) qui circule presque inchangée d'un pas de temps à l'autre, telle un tapis roulant d'information.
Les portes : le cœur du mécanisme
Le LSTM régule sa mémoire grâce à trois portes (gates), de petites couches dont la sortie, comprise entre 0 et 1, décide quoi laisser passer.
| Porte | Rôle |
|---|---|
| Oubli (forget) | Que faut-il effacer de la mémoire ? |
| Entrée (input) | Quelle information nouvelle stocker ? |
| Sortie (output) | Que révéler à l'instant présent ? |
La porte d'oubli se calcule par exemple ainsi :
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
où $\sigma$ est la fonction sigmoïde. La cellule est alors mise à jour : on efface une partie de l'ancien état, puis on y ajoute le nouveau.
Usages et limites
Les LSTM ont longtemps dominé la traduction automatique, la reconnaissance vocale et la prévision de séries temporelles. Aujourd'hui, les Transformers les ont largement supplantés sur le texte, mais les LSTM restent pertinents pour les données séquentielles légères et l'embarqué.
Le LSTM a appris aux machines une compétence humaine essentielle : savoir quoi retenir, et quoi oublier.