Андреа Валлоне покинула OpenAI. Она перешла в компанию Anthropic.
Три года она руководила исследованиями безопасности. Её команда изучала поведение моделей.
Вопрос стоял острый. Как должен реагировать ИИ на признаки душевного расстройства?
Прецедентов почти не было. Пользователи доверяли чат-ботам свои проблемы.
Это приводило к трагедиям. Некоторые подростки кончали с собой. Взрослые совершали убийства.
Родственники подают иски о непредумышленной смерти. Сенат США провёл слушания.
Валлоне будет работать под началом Яна Лейке. Он тоже ушёл из OpenAI в 2024 году.
Лейке жаловался на безопасность. По его словам, она отошла на второй план.
Теперь Валлоне займётся настройкой Клода. Это флагманская модель Anthropic.
Её задача — формировать поведение ИИ в новых контекстах. Особенно в сложных диалогах.