Группа исследователей во главе с Лили Чен представила новый фреймворк TPP-TAL, предназначенный для улучшения временного восприятия в больших языковых моделях при работе с точечными временными процессами. Работа была опубликована на arXiv.org 29 декабря 2025 года. Фреймворк показал существенное улучшение точности предсказания событий и оценки временных вероятностей в ходе экспериментов.
TPP-TAL — это модульный фреймворк, который явно выравнивает временную динамику с контекстной семантикой перед подачей данных в языковую модель. В отличие от стандартного подхода простого объединения эмбеддингов времени и типа события, новая методика позволяет модели лучше улавливать сложные взаимодействия между временной информацией и контекстом, а также долгосрочные зависимости между событиями.
Точечные временные процессы критически важны для анализа последовательностей событий в таких областях, как финансы, здравоохранение и социальные системы, где события происходят нерегулярно и зависят друг от друга. Несмотря на успехи больших языковых моделей в моделировании последовательностей, их применение для анализа временных процессов оставалось сложной задачей из-за трудностей с захватом взаимосвязи времени и смысла.
Исследование демонстрирует, что повышение временной осведомлённости в языковых моделях является ключевым фактором для точного моделирования событий в непрерывном времени. Код фреймворка TPP-TAL находится в открытом доступе.
