Исследователь Субханкар Мишра представил метод mHC-GNN, который адаптирует технологию Manifold-Constrained Hyper-Connections для графовых нейронных сетей. Метод решает фундаментальные проблемы GNN: чрезмерное сглаживание в глубоких архитектурах и ограниченную выразительную силу. Эксперименты на 10 наборах данных с 4 архитектурами GNN показали устойчивые улучшения.
mHC-GNN расширяет представления узлов через n параллельных потоков и ограничивает матрицы смешения потоков полиэдром Биркгоффа с помощью нормализации Синкхорна-Кноппа. Это позволяет замедлить чрезмерное сглаживание с экспоненциальной скоростью. Метод способен различать графы за пределами теста 1-Вайсфейлера-Лемана.
Эксперименты с глубиной от 2 до 128 слоев показали, что стандартные GNN деградируют до почти случайной производительности уже после 16 слоев. В то же время mHC-GNN сохраняет точность выше 74% даже при 128 слоях, с улучшениями более чем на 50 процентных пунктов на экстремальных глубинах. Абляционные исследования подтвердили, что ограничение многообразия критически важно: его удаление приводит к падению производительности до 82%.
Новый метод открывает возможности для создания значительно более глубоких и мощных графовых нейронных сетей, что важно для задач анализа социальных сетей, рекомендательных систем, биоинформатики и химии. Код проекта доступен в открытом доступе.
