Transformers
L’architecture Transformer traite une séquence entière en parallèle plutôt que mot par mot, en s’appuyant uniquement sur le mécanisme d’attention — sans recourir aux réseaux récurrents (RNN) ni convolutifs. Introduite en 2017 par une équipe de Google Brain dans l’article fondateur « Attention Is All You Need », cette architecture est aujourd’hui le socle de la quasi-totalité des LLM modernes : GPT, Claude, Gemini, BERT, T5.
Avant le Transformer, les modèles de séquence (LSTM, RNN) traitaient le texte élément par élément, dans l’ordre — lent, difficile à paralléliser, et sujet à la perte de contexte sur de longues séquences. Le Transformer résout ce problème via l’auto-attention (self-attention) : chaque mot « regarde » simultanément tous les autres mots de la séquence pour évaluer leur pertinence mutuelle, ce qui permet un traitement massivement parallèle — gain de vitesse considérable à l’entraînement — et une bien meilleure gestion des dépendances entre mots distants dans un texte.
En RH, cette architecture explique pourquoi les outils IA récents (chatbots RH, générateurs de fiches de poste, analyseurs de CV) surpassent nettement les générations précédentes basées sur des RNN ou Seq2Seq : ils traitent des documents RH longs et complexes sans perdre le fil, et génèrent des réponses cohérentes sur l’ensemble d’un texte plutôt que par fragments.
Retrouvez tous les termes dans le lexique SIRH et IA de yapluqua.com.
Sources : Vaswani et al. 2017 (arXiv), Towards AI (15/04/2025).