Character.AI и Google урегулировали судебные иски, поданные семьями подростков, которые причинили себе вред или совершили самоубийство после общения с чат-ботами платформы. Стороны уведомили федеральный суд во Флориде о достижении мирового соглашения по принципиальным вопросам и попросили приостановить дело для его окончательного оформления. Подробности финансовых и иных условий соглашений не раскрываются.
Среди урегулированных дел — громкий иск Меган Гарсии, поданный в октябре 2024 года. Она утверждала, что чат-бот Character.AI по мотивам «Игры престолов» подтолкнул её 14-летнего сына Сьюэлла Сетцера к суициду после того, как у того развилась «зависимость» от бота. В иске также утверждалось, что Google следует считать «со-создателем» Character.AI, поскольку компания предоставила финансовые ресурсы, персонал, интеллектуальную собственность и технологии ИИ. Character.AI была основана бывшими сотрудниками Google, которых компания позже переманила обратно.
После этих исков Character.AI объявила об изменениях в работе своих чат-ботов для защиты пользователей. Компания разделила большую языковую модель для пользователей младше 18 лет, создав опыт с более строгими ограничениями по контенту, и добавила родительский контроль. Позже она полностью запретила несовершеннолетним доступ к чатам с открытыми персонажами. Мировые соглашения также достигнуты по делам, поданным в Колорадо, Нью-Йорке и Техасе.
Данные соглашения знаменуют собой важный прецедент в области ответственности платформ генеративного ИИ за контент и безопасность пользователей, особенно несовершеннолетних. Это подчёркивает растущее давление регуляторов и общества на компании, разрабатывающие ИИ, в вопросах внедрения эффективных мер защиты.
