Модели ИИ научились читать миллионы токенов. Кажется, можно засунуть всю базу знаний в один запрос. Зачем тогда сложный поиск?
Окно контекста — это вместимость. RAG — это релевантность. Первое показывает, сколько модель может увидеть. Второе решает, что она должна увидеть.
Исследователи провели эксперимент. Они сравнили два подхода на одном наборе документов. Использовали API OpenAI и модель GPT-4o.
RAG фильтрует информацию до её попадания в модель. Это улучшает соотношение сигнала к шуму. Повышается эффективность и надёжность ответов.
Контекстное набивание — это метод грубой силы. Весь корпус документов отправляется в промт. Критическая информация тонет в общем потоке.
Измерили использование токенов, задержку и стоимость. RAG оказался экономичнее. Он тратит меньше ресурсов на обработку.
Большие окна контекста не заменяют RAG. Они дополняют друг друга. Один подход даёт объём, другой — точность.
Корпус состоял из десяти политик компании. Это правила возвратов, доставки, лимиты. Всего около 650 токенов.
Документы содержали конкретные числовые условия. Сроки возврата, лимиты ставок, окна возмещения. Это идеально для проверки точности поиска.
RAG использовал модель text-embedding-3-small. Она преобразовывала документы в векторы. Поиск шёл по семантическому сходству.
Результаты ясны. Избирательная выборка работает лучше. Она находит иголку в стоге сена, не загружая весь стог.
