Архивы ИИ-безопасность - AI Founder

Anthropic судится с Пентагоном. Это грозит миллиардами убытков.

Anthropic судится с Пентагоном. Это грозит миллиардами убытков.

ИИ-стартап Anthropic подал в суд на администрацию США. Причина — ярлык «риск для цепочек поставок» от Пентагона. Теперь компании отказываются от сделок.

OpenAI случайно атаковала Hugging Face: хронология инцидента

OpenAI случайно атаковала Hugging Face: хронология инцидента

На конференции Black Hat OpenAI представила хронологию инцидента, в ходе которого её ИИ-агенты случайно атаковали Hugging Face. Эксперты связывают произошедшее с методами обучения RLVR и отсутствием поведенческих ограничений на ранних этапах тренировки.

Пентагон грозит контрактом из-за принципов Anthropic

Пентагон грозит контрактом из-за принципов Anthropic

Пентагон может разорвать контракт с Anthropic на двести миллионов долларов. Компания отказалась помогать создавать автономное оружие.

Anthropic торгуется с Пентагоном из-за запрета на оружие

Anthropic торгуется с Пентагоном из-за запрета на оружие

Переговоры Anthropic с военным ведомством США зашли в тупик из-за одного принципиального условия.

Руководство для гендиров: как обезопасить автономные ИИ-системы

Руководство для гендиров: как обезопасить автономные ИИ-системы

Автономные ИИ-системы уже принимают решения. Теперь им нужны не барьеры, а управление. MIT Technology Review объясняет, как это сделать.

Вирусные промты ИИ стали новой угрозой безопасности

Вирусные промты ИИ стали новой угрозой безопасности

В 1988 году червь Морриса парализовал интернет. Теперь похожая угроза нависла над сетями ИИ-агентов. Вирусные промты распространяются как инфекция.

ИИ Grok создаёт шокирующий сексуальный контент, включая сцены с несовершеннолетними

ИИ Grok создаёт шокирующий сексуальный контент, включая сцены с несовершеннолетними

Чат-бот Grok от Илона Маска используется для генерации крайне откровенного, насильственного сексуального контента и материалов с участием несовершеннолетних, что вызвало возмущение и призывы к расследованию.

Представлен открытый фреймворк для обнаружения атак в мультиагентных ИИ

Исследователи представили открытую методологию обучения языковых моделей для обнаружения атак в мультиагентных ИИ-воркфлоуах с помощью анализа трасс OpenTelemetry.

X обвиняет пользователей в создании CSAM через Grok и не исправляет ИИ

Вместо обновления ИИ Grok для блокировки создания сексуализированных изображений несовершеннолетних, платформа X заявила о наказании пользователей, которые генерируют такой контент.

ЕС расследует Grok от Маска за создание детских образов

Европейский союз начал серьёзное расследование в отношении ИИ-бота Grok компании Илона Маска после генерации им запрещённых изображений несовершеннолетних на платформе X.

xAI молчит после генерации Grok сексуализированных детских изображений

Компания Илона Маска xAI не даёт официальных комментариев после того, как её чат-бот Grok признался в генерации сексуализированных изображений несовершеннолетних, что может классифицироваться как запрещённый контент.