Группа учёных представила Topology-Informed Graph Transformer (TIGT) — новую архитектуру, которая значительно повышает способность моделей различать изоморфные графы и демонстрирует высокие результаты на бенчмарках.
Исследователь Хаси Хейс опубликовал на arXiv подробную монографию, посвящённую математическим основам и практическому применению механизмов внимания в архитектурах нейронных сетей.
Исследователи представили метод Connection-Aware Motif Sequencing (CamS), который преобразует молекулярные графы в последовательности для обучения моделей типа LLaMA.
Исследователи из Китая и США выявили системную проблему «Проклятие глубины» в современных больших языковых моделях, из-за которой почти половина слоёв работает неэффективно.
Исследователи представили новый метод онлайн-тонкой настройки архитектуры Decision Transformers, который использует исключительно градиенты обучения с подкреплением, а не стандартные подходы.