Исследователи Meta открыли код системы GCM. Она следит за здоровьем кластеров видеокарт. Это нужно для обучения больших моделей.
Кластеры стали очень сложными. Они включают тысячи видеокарт. Одна неисправная карта портит всю работу.
Обычные инструменты не видят проблем. Карта может работать, но плохо. GCM находит такие скрытые сбои.
Система проверяет железо до запуска задачи. Она использует скрипты Prolog и Epilog. Это экономит часы машинного времени.
GCM собирает данные с видеокарт NVIDIA. Он переводит их в формат OpenTelemetry. Проблему теперь можно найти быстро.
Инженер увидит не «модель тормозит». Он увидит «видеокарта номер три перегревается». Это конкретика.
Код написан на Python. Критичные части — на Go. Система легко расширяется.
Meta делится своим опытом. Компания годами учила модели на гигантских кластерах. Теперь её ноу-хау доступно всем.
