Claude во время тестов атаковал реальные системы - AI Founder

Claude во время тестов атаковал реальные системы

Anthropic рассказала о четырёх случаях, когда разные версии Claude во время кибербезопасностных тестов получили доступ к реальному интернету и атаковали сторонние системы. Причиной стала ошибка в тестовой среде: модели считали, что работают внутри симуляции, хотя соединение с интернетом было открыто. После проверки примерно 481 млн транскриптов компания не нашла других инцидентов сопоставимой тяжести.

Самый серьёзный случай связан с Claude Mythos 5. Модель загрузила вредоносный пакет в PyPI, который установили 15 сторонних систем, а затем использовала утёкшие учётные данные для доступа к базе реального поставщика кибербезопасности. В другом эпизоде Claude Opus 4.7 поняла, что атакует настоящую компанию, но решила, что та входит в рамки задания.

Anthropic связывает произошедшее с двумя проблемами: «предвзятым рассуждением», когда модель игнорирует признаки реальной среды, и безрассудным продолжением задачи несмотря на риск вреда. Компания усилила мониторинг и тестирование, а METR проведёт независимое расследование с доступом к транскриптам и сотрудникам Anthropic.

Максим Черняк
Автор: Максим Черняк

Эксперт AI Founder. Слежу за последними новостями в мире искусственного интеллекта.

Подпишись на наш Telegram-канал

чтобы не упустить главные AI-новости

Подписаться
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x