Token

Токен — минимальная единица данных, с которой работает модель при обработке последовательностей. В текстовых задачах токенами являются слова или их части, а в аудио под токенами могут подразумеваться дискретные фрагменты звука или особые символы, кодирующие звук; последовательность токенов представляет исходные данные в удобной для модели форме.