Исследователи из Калифорнийского университета в Лос-Анджелесе (UCLA) и Snap Inc. представили работу, где показали, что для дистилляции знаний в MLP-сети для задачи предсказания связей в графах простые эвристические методы оказались эффективнее специализированных графовых нейросетей. Результаты опубликованы на arXiv.org 6 января 2026 года.
Ключевое открытие: более сильные и сложные модели-учителя (GNN4LP) не всегда создают лучших студентов (MLP). При этом простые эвристики, например, подсчёт общих соседей, обучают MLP почти так же хорошо, как и GNN, но с радикально меньшими вычислительными затратами. На основе этого авторы разработали метод Ensemble Heuristic-Distilled MLPs (EHDM), который устраняет зависимость от графа и интегрирует комплементарные сигналы через механизм гейтирования.
Предсказание связей — критически важная задача для рекомендательных систем, предсказания научных цитирований и анализа социальных сетей. Дистилляция GNN в MLP позволяет сохранить высокую точность, но избавиться от дорогостоящих операций с графами во время инференса, что ускоряет работу в продакшене. Новый подход меняет парадигму выбора учителя для дистилляции.
Эксперименты на десяти наборах данных показали, что EHDM в среднем на 7.93% превосходит предыдущие методы дистилляции GNN-to-MLP, сокращая время обучения в 1.95–3.32 раза. Метод предлагает эффективный и быстрый способ решения задачи предсказания связей.
