В Pinterest столкнулись с частыми сбоями в Spark. Ошибки памяти преследовали тысячи задач ежедневно. Это тормозило отчёты и эксперименты.
Они обрабатывают 90 тысяч заданий в день. Объём данных достигает сотен петабайт. Каждый сбой создавал нагрузку на команды.
Ручная настройка памяти не помогала. Продуктовые команды не успевали этим заниматься. Требовалось автоматическое решение.
Инженеры создали систему Auto Memory Retries. Она ловит задачи с ошибкой памяти. Затем запускает их на более мощных вычислителях.
Теперь настройки памяти ориентируются на средние показатели. Большинство задач работает на стандартных вычислителях. Лишь некоторые требуют дополнительных ресурсов.
Это снизило долю сбоев из-за памяти. Система экономит вычислительные ресурсы. Она уже работает в продакшене.
