Исследователи Нилушика Удаянгани, Кишор Нандакишор и Маримуту Паланисами представили новый метод дистилляции знаний MemKD для эффективной классификации временных рядов. Работа опубликована на arXiv 7 января 2026 года и будет представлена на конференции ICASSP 2025. Метод позволяет сократить размер модели и использование памяти примерно в 500 раз, сохраняя производительность на уровне большой исходной модели.
MemKD фокусируется на устранении ключевого недостатка существующих методов дистилляции, которые изначально создавались для задач компьютерного зрения и игнорируют временные зависимости в данных. Новый подход использует специальную функцию потерь, которая учитывает расхождения в сохранении памяти между большой моделью-учителем и компактной моделью-учеником на различных подпоследовательностях временного ряда. Это заставляет ученика точнее имитировать поведение учителя.
Разработка критически важна для развертывания моделей глубокого обучения, таких как рекуррентные нейронные сети и LSTM, в условиях ограниченных ресурсов. Традиционно эти модели, хотя и эффективны для анализа сложных последовательных паттернов в реальном времени, слишком велики и требовательны к вычислениям для носимых устройств и периферийных платформ.
Эксперименты показали, что MemKD значительно превосходит современные методы дистилляции. Созданные с его помощью компактные рекуррентные сети подходят для задач анализа временных рядов в реальном времени на маломощном оборудовании.
