Группа исследователей представила новую функцию потерь — нормализованную условную взаимную информацию (NCMI). Она служит прямой заменой кросс-энтропии при обучении глубоких нейронных сетей для классификации. Авторы работы — Линфенг Е, Чжисян Чи, Константинос Н. Платаниотис и Эн-Хуэй Ян. Статья опубликована на arXiv 5 января 2026 года.
Ключевое наблюдение: значение NCMI модели обратно пропорционально её точности. На основе этого разработан эффективный чередующийся алгоритм для минимизации NCMI. Вычислительная сложность сравнима с кросс-энтропией. Тесты на ImageNet с ResNet-50 показали рост точности top-1 на 2,77%. На медицинском датасете CAMELYON-17 для субтипирования снимков целых слайдов макро-F1 вырос на 8,6%.
Кросс-энтропия — де-факто стандарт для обучения классификаторов. Однако поиск более эффективных функций потерь остаётся актуальной задачей для повышения точности моделей. Улучшения на ключевых бенчмарках, особенно в медицинской визуализации, демонстрируют практическую ценность подхода.
Улучшения стабильны для разных архитектур и размеров батча. Это делает NCMI практичной и конкурентоспособной альтернативой кросс-энтропии для широкого круга задач классификации.
