Imaginez un dictionnaire géant où chaque mot serait défini avec une précision absurde, sur dix décimales. La quantification consiste à arrondir intelligemment ces définitions pour qu'elles tiennent dans un format de poche, sans perdre le sens. Appliquée à l'IA, elle réduit la précision numérique des poids d'un modèle — passer de nombres à virgule flottante 32 bits (FP32) à des entiers 8 bits (INT8) ou moins — pour réduire la mémoire et accélérer le calcul.
Le principe : moins de bits, même savoir
Un grand modèle de langage stocke des milliards de poids. En FP32, chaque poids occupe 4 octets ; en INT8, un seul. La quantification associe une plage de valeurs réelles à un intervalle d'entiers via un facteur d'échelle :
$$ x_q = \text{round}\left(\frac{x}{s}\right) + z $$
où $s$ est l'échelle (scale) et $z$ le point zéro (zero-point). Le modèle « pense » presque pareil, mais pèse beaucoup moins.
Compromis taille / précision
| Format | Bits | Mémoire relative | Perte de qualité |
|---|---|---|---|
| FP32 | 32 | 100 % | aucune (référence) |
| FP16 | 16 | 50 % | négligeable |
| INT8 | 8 | 25 % | faible |
| INT4 | 4 | 12,5 % | modérée |
Pourquoi c'est crucial
- Coût : un modèle quantifié tient sur un GPU plus modeste, voire un téléphone.
- Vitesse : les opérations sur entiers sont plus rapides.
- Accessibilité : démocratise l'IA pour les startups marocaines aux budgets serrés.
On distingue la quantification post-entraînement (rapide, appliquée après coup) et l'entraînement conscient de la quantification (QAT), qui simule la perte pendant l'apprentissage pour mieux la compenser.
Quantifier, c'est troquer une précision dont on n'a pas besoin contre une efficacité dont on a cruellement besoin.