Исследователи Google представили новый алгоритм. Он называется Sequential Attention. Метод отбирает самое важное в данных.
Авторы — Томас Фу и Кириакос Аксиотис. Они работают в Google Research. Алгоритм решает старую сложную задачу.
Задача — выбрать ключевые признаки из миллионов. Это математически почти невозможно. Особенно для нейросетей.
Признак может казаться бесполезным один. Вместе с другими он становится критичным. Алгоритм ловит эти связи.
Sequential Attention действует как жадный сборщик. Он последовательно добавляет лучшие компоненты. Контекст от уже выбранного помогает найти следующий.
Обычные методы смотрят на всё сразу. Новый подход — шаг за шагом. Это эффективнее для нелинейных взаимодействий.
Технология встроена прямо в процесс обучения. Дополнительных затрат почти нет. Масштабировать её просто.
Метод подходит для отбора признаков и обрезки весов. Можно оптимизировать и другие части модели. Это общее решение.
Итог — модели становятся легче. Они работают быстрее. Их точность остаётся прежней.
