Исследователи Нилушика Удаянгани Хева Дехигахаваттаге и Кишор Нандакишор представили новый метод интерпретируемой дистилляции знаний для анализа временных рядов под названием Temporal Saliency Distillation. Работа будет представлена на 27-й Европейской конференции по искусственному интеллекту (ECAI 2025) в 2026 году.
Метод расширяет классическую дистилляцию знаний, передавая от модели-учителя к модели-ученику не только итоговые предсказания (логиты), но и «временную значимость» — информацию о том, какие временные шаги входных данных были наиболее важны для принятия решения. Это позволяет ученику учиться не просто повторять ответы учителя, а воспроизводить его логику рассуждений.
Традиционные методы дистилляции для временных рядов, заимствованные из компьютерного зрения, имеют два ключевых недостатка: они не учитывают специфику временных данных и являются «чёрным ящиком». Новый метод решает эти проблемы, делая процесс передачи знаний интерпретируемым и заставляя ученика обращать внимание на те же ключевые моменты в данных, что и учитель.
Предложенный подход не требует изменения архитектуры моделей или добавления новых параметров. Эксперименты показали, что Temporal Saliency Distillation не только улучшает точность предсказаний компактных моделей, но и обеспечивает их более безопасную замену большим исходным моделям, так как их поведение становится более предсказуемым и объяснимым.
