Transformer

Архитектура нейросетей, основанная на механизме внимания, которая заменила рекуррентные сети во многих задачах. Transformer обрабатывает все элементы последовательности параллельно, позволяя модели уделять внимание наиболее релевантным частям входа; изначально революционизировал NLP, а затем был применён в аудио (например, для распознавания речи и генерации музыки) благодаря своей эффективности в работе с последовательностями большой длины.