Библиотека Pandera научилась проверять данные. Она использует типизированные схемы. Это похоже на контракты для таблиц.
Сначала создают неидеальные данные. В них добавляют ошибки. Это имитирует реальный продакшен.
Затем применяют строгие правила. Проверяют каждую колонку. Следят за логикой между полями.
Ошибки собирают лениво. Все проблемы видны сразу. Плохие записи отправляют в карантин.
Конвейер продолжает работать. Данные текут дальше. Корректность гарантирована на каждом шаге.
Код уже опубликовали. Его можно скачать и попробовать. Установка занимает минуту.
