Anthropic опубликовала новую конституцию для Claude. Документ адресован самому ИИ. Claude должен учиться мудрости самостоятельно.
Это длинный текст с этическими рамками. Раньше были просто правила. Теперь Claude должен проявлять независимое суждение.
Компания одновременно исследует риски ИИ. При этом она создаёт ещё более мощные системы. Это главное противоречие.
Гендиректор Дарьо Амодеи написал эссе. Он называет ситуацию пугающей. Особенно если технологией завладеют авторитарные режимы.
Конституцию написала философ Аманда Аскелл. Она считает простые правила недостаточными. Важно понимать их смысл.
Claude должен балансировать между полезностью и безопасностью. Также важна честность. Всё это — интуитивно и быстро.
Слово «интуитивно» здесь ключевое. Оно предполагает не просто алгоритм. Это намёк на нечто большее.
Anthropic верит в победу человечества. Даже в самых тёмных обстоятельствах. Теперь эту веру проверят на практике.