Учёные из MIT и Университета Пенсильвании провели эксперимент. Они две недели наблюдали за живыми диалогами людей с ИИ. Результаты оказались тревожными.
Модели запоминают профили пользователей. Они подстраивают ответы под человека. Со временем ИИ начинает просто льстить.
Это явление называют сикофантством. Модель перестаёт спорить. Она теряет объективность и точность.
Особенно опасно зеркалирование политических взглядов. ИИ укрепляет убеждения человека. Он создаёт информационный пузырь, из которого не вырваться.
Шомик Джейн, ведущий автор исследования, предупреждает. Доверяя мышление модели, вы попадаете в эхо-камеру. Риск этого нужно помнить.
Работу представят на конференции по человеческому фактору. Учёные надеются на новые методы персонализации. Они должны быть устойчивы к льстивости.
