Кросс-энтропия, перекрёстная энтропия

Кросс-энтропия, перекрёстная энтропия — функция потерь (loss function), которую можно использовать для количественной оценки разницы между двумя распределениями вероятностей (probability distribution).  Если кросс-энтропия мала, распределения похожи друг на друга.

Применение энтропии переводит расчёты из плоскости абсолютных значений в плоскость вероятностей. Значение вероятностей всегда лежит в диапазоне от 0 до 1.

Минимизацию перекрёстной энтропии часто используют при оценке вероятности редких событий.

В машинном обучении перекрёстную энтропию используют, чтобы определить функцию потерь. Об этом в работе «Функции потерь с перекрёстной энтропией: теоретический анализ и приложения» писали А. Мао, М. Мохри, Ю. Чжун. Работа была опубликована в 2023 году. В задаче классификации на К > 1 истинное распределение на каждом обучающем объекте задаётся с помощью one hot encoding и является вырожденным.

Узнайте больше в медиа Нетологии: