Transformeur
L'architecture de réseau de neurones sur laquelle reposent la plupart des grands modèles de langage actuels.
En bref
- L'architecture de réseau de neurones sur laquelle reposent la plupart des grands modèles de langage actuels.
- On dit aussi : transformer.
Pratiquer en formation : L'IA dans mon métier
Définition
Présentée en 2017 par des chercheurs de Google dans l'article « Attention Is All You Need », elle permet au modèle de pondérer l'importance de chaque partie d'un texte par rapport aux autres.
Le « T » de GPT signifie d'ailleurs « Transformer ».
Au travail
C'est grâce à ce mécanisme d'attention que l'IA peut tenir compte d'une consigne donnée au début d'un long document.
À surveiller
Comprendre l'architecture n'est pas nécessaire pour bien écrire une demande : c'est une culture générale utile, pas un prérequis.
Voir aussi
- Grand modèle de langage
- Le programme au cœur des IA qui écrivent : il prédit, mot après mot, la suite la plus probable d'un texte.
- Réseau de neurones
- Un modèle mathématique fait de couches de calculs simples, reliées entre elles, qui s'ajustent pendant l'apprentissage.
- Token
- Le petit morceau de texte (un mot, une partie de mot, une ponctuation) que le modèle traite un par un.
Le glossaire
Questions fréquentes
Que veut dire « Transformeur » en intelligence artificielle ?
L'architecture de réseau de neurones sur laquelle reposent la plupart des grands modèles de langage actuels.