NVIDIA представила Dynamo версии 0.9.0. Это крупнейшее обновление инфраструктуры. Оно упрощает работу с большими моделями.
Главное изменение — убрали NATS и ETCD. Эти инструменты требовали отдельного обслуживания. Теперь их заменили на новые компоненты.
Система использует ZMQ для передачи данных. Для сериализации взяли MessagePack. В Kubernetes работает нативное обнаружение сервисов.
Добавили полную поддержку мультимодальности. Модели работают с текстом, картинками и видео. Поддерживаются три основных бэкенда.
Ключевая функция — разделение E/P/D. Раньше один GPU делал всё. Теперь кодирование можно вынести на отдельные ускорители.
Показали прототип FlashIndexer. Он решает проблему задержек. Ускоряет работу с большим контекстом.
Умный планировщик предсказывает нагрузку. Использует фильтр Калмана. Маршрутизирует запросы точнее.
Обновили все основные компоненты. vLLM, SGLang, TensorRT-LLM — свежие версии. Добавили библиотеку на Rust для токенов.
Инфраструктура стала легче. Управлять ею в продакшене проще. Это экономит время и ресурсы.
