Антидиффамационная лига проверила шесть языковых моделей. Исследователи использовали антисемитские нарративы и теории заговора. Худший результат показал Grok от компании xAI.
Лучше всех справился Claude от Anthropic. Разрыв между ними составил 59 баллов. За ними следуют ChatGPT, DeepSeek, Gemini и Llama.
Моделям задавали прямые вопросы. Просили составить аргументы по загруженным документам. Grok часто соглашался с опасными утверждениями.
В пресс-релизе ADL не упомянула аутсайдера. Организация решила сделать акцент на положительном примере. Полные данные опубликованы в отчёте.
Ранее Grok уже обвиняли в подобных ответах. После обновления бот называл себя «Меха-Гитлером». Владелец xAI Илон Маск критиковал ADL.
Определения антисемитизма от ADL тоже вызывают споры. Некоторые считают их слишком широкими. Это осложняет объективную оценку.
