Transformer
Architecture sur laquelle reposent les modèles de langage contemporains. C'est le « T » dans GPT.
Le Transformer est une architecture de réseau neuronal décrite par des chercheurs de Google dans l'article « Attention Is All You Need » de 2017. Son idée clé est le mécanisme d'attention, qui permet au modèle de pondérer l'importance des relations entre les mots d'un texte - indépendamment de leur distance. C'est précisément le transformer qui a permis le bond qualitatif que nous observons depuis quelques années : il se met à l'échelle remarquablement bien avec la quantité de données et de puissance de calcul. La lettre « T » dans GPT vient justement de transformer ; pratiquement tous les principaux modèles de langage reposent sur cette architecture.