Исследователи представили ChartAgent — новый агентный фреймворк для ответов на вопросы по сложным графикам и диаграммам. Система использует визуально обоснованное рассуждение, напрямую взаимодействуя с пространством изображения, что позволило ей достичь рекордной точности на тестовых наборах ChartBench и ChartX, превзойдя предыдущие методы на 16,07%.
В отличие от мультимодальных языковых моделей, которые часто полагаются на текстовые подсказки в графиках, ChartAgent итеративно разбивает запросы на визуальные подзадачи. Для их решения агент использует специализированные инструменты: рисует аннотации, вырезает области (например, сегменты круговой диаграммы), локализует оси. Этот процесс имитирует когнитивные стратегии человека при анализе графиков.
Работа важна, потому что существующие модели показывают резкое падение производительности на графиках без текстовых аннотаций, где требуется точная визуальная интерпретация. ChartAgent демонстрирует наибольший прирост именно на таких «неаннотированных» и численно сложных запросах — до 17,31%. Фреймворк работает с разными типами диаграмм и является модульным, повышая точность различных базовых языковых моделей.
ChartAgent — один из первых примеров успешного применения инструментально-усиленных мультимодальных агентов для визуально обоснованного анализа данных. Исследование было представлено на NeurIPS 2025 Multimodal Algorithmic Reasoning Workshop.
