Transformatoarele sunt un tip de rețea neuronală care a revoluționat domeniul procesării limbajului natural (NLP) și și-a găsit aplicabilitate în alte domenii ale învățării profunde. Au fost introduse în lucrarea din 2017 „Attention Is All You Need” de către cercetătorii de la Google. O caracteristică cheie a transformatoarelor este mecanismul de atenție, care permite modelului să pondereze importanța diferitelor părți ale datelor de intrare în timpul procesării. Spre deosebire de rețelele neuronale recurente (RNN) și rețelele neuronale convoluționale (CNN), transformatoarele pot procesa datele de intrare în paralel, făcându-le mai eficiente pentru secvențe lungi. Arhitectura transformatorului constă, în general, dintr-un codificator și un decodor, fiecare conținând mai multe straturi de atenție și rețele complet conectate. Mecanismul de auto-atenție permite modelului să ia în considerare relațiile dintre toate cuvintele dintr-o secvență de intrare. Arhitecturile bazate pe transformatoare, precum BERT, GPT și T5, au devenit fundamentul multor modele NLP de ultimă generație, demonstrând performanțe remarcabile în sarcini precum traducerea automată, generarea de text, analiza sentimentelor și multe altele.