Scaled dot product attention

Scaled dot product attention — механизм внимания на основе скалярного произведения. Результатом скалярного произведения является скаляр, то есть число, которое не зависит от выбора системы координат. Скаляр (число) — это результат умножения вектора на вектор.