Исследователи Apple изучили метод фильтрации данных. Его называют Classifier-based Quality Filtering. Метод отбирает лучшие тексты для обучения нейросетей.
Он работает через бинарный классификатор. Тот отличает «хорошие» документы от «плохих». В итоге отбирается только верхняя часть рейтинга.
Но анализ показал неожиданное. Метод улучшает результаты на сторонних задачах. При этом языковое моделирование на качественных данных не растёт.
Парадокс объяснили просто. Классификатор неявно фильтрует и эталонный набор. Он отсекает тексты, непохожие на преобладающие в нём шаблоны.
Учёные сравнили CQF с синтетическими данными. Их портили через перестановку случайных токенов. Тренды оказались совершенно разными.
Вывод исследования прост. Метод не улавливает смысловое качество. Он лишь создаёт удобную для обучения выборку. Это иллюзия.
