Учёные Amazon опубликовали новую статью. Они оспорили главный тренд в ИИ. Большие модели не становятся умнее.
Модели растут в размерах. Они теряют проницательность. Нужно сокращать время на вывод.
Стефано Соатто и Алессандро Акилле написали работу. Они сравнили ИИ с человеком. Есть быстрая реакция и медленное размышление.
Текущие модели работают на автопилоте. Это как первая система в психологии. Нужно развивать вторую — вдумчивую.
Ключ — трансдуктивное обучение. Это не обобщение, а рассуждение. Модель использует память для новых задач.
В 1964 году Соломонофф описал идеальный алгоритм. Он решает любую задачу. Но для этого нужно бесконечное время.
В 1973 году Левин создал быстрый алгоритм. Он ввёл понятие NP-полноты. Его метод тоже не работает на практике.
Теория машинного обучения бессильна. Она не объясняет, как ИИ решает задачи. Требуются новые инструменты.
Учёные предлагают сместить фокус. Не наращивать параметры, а давать время. Модель должна думать, а не вспоминать.
