Исследователи Юн Ён Чой, Сан Ву Пак, Минхо Ли и Ёнхо Ву представили новую архитектуру — Topology-Informed Graph Transformer (TIGT). Модель опубликована на arXiv.org 3 февраля 2024 года с последним обновлением 8 января 2026 года. TIGT создана для преодоления ключевого ограничения существующих графовых трансформеров — слабой различительной способности в отношении изоморфизмов графов, что напрямую влияет на качество предсказаний.
Архитектура TIGT состоит из четырёх основных компонентов. Первый — слой позиционного кодирования, использующий неизоморфные универсальные накрытия на основе циклических подграфов для обеспечения уникального представления графа. Второй — двухпутевой слой передачи сообщений для явного кодирования топологических характеристик. Третий — механизм глобального внимания. Четвёртый — слой информации о графе для перекалибровки признаков. Модель уже превзошла предыдущие графовые трансформеры в классификации синтетического набора данных, предназначенного именно для различения классов изоморфизма графов.
Работа важна, потому что трансформеры, революционизировавшие NLP и компьютерное зрение, сталкиваются со сложностями при интеграции с графовыми нейронными сетями (GNN). Умение точно различать изоморфные графы — фундаментальная задача в теории графов и критически важна для приложений в химии (моделирование молекул), рекомендательных системах и анализе социальных сетей, где структура данных имеет первостепенное значение.
Математический анализ и эмпирические оценки, представленные в работе, подтверждают конкурентоспособность TIGT по сравнению с передовыми графовыми трансформерами на различных эталонных наборах данных. Исследование было представлено на воркшопе Geometry-grounded Representation Learning and Generative Modeling (GRaM) в рамках конференции ICML 2024.
