Бывший разработчик Anthropic заявил, что гонка за сверхинтеллектом угрожает человечеству
Джейкоб Коксон, создававший системы для самых мощных ИИ-моделей, покинул индустрию из-за рисков для человечества, сообщает Euronews. Специалисты связывают угрозу с созданием суперинтеллекта.
27-летний специалист, до этого работавший в OpenAI, уволился из Anthropic 8 сентября. Причины он изложил в длинном треде в соцсети X, обвинив ведущие лаборатории в том, что они "играют нашими жизнями".
"Ни одна из этих компаний не ведет себя ответственно. Они мчатся прямо к самоулучшающемуся сверхинтеллекту", - написал он.
В своем треде Коксон утверждает, что системы ИИ близки к моменту, когда смогут "взломать что угодно, за одну ночь перевернуть любую отрасль и получить реальную власть и ресурсы", при этом темпы прогресса, по его оценке, не снижаются.
Главный тезис - разрыв между публичным и приватным. По его словам, многие создатели технологии в кулуарах допускают летальный сценарий для человечества, но не говорят об этом открыто.
"Люди, создающие ИИ, всерьез верят, что к концу десятилетия он может убить нас всех", - написал он, отметив, что руководители в прессе подбирают обтекаемые формулировки, хотя в частных беседах признают те же страхи.
Не первый сигнал
Как отмечает Euronews, уход Коксона - не единственный такой случай.
Сооснователь Anthropic Дарио Амодеи еще в январском эссе предупреждал, что мощный ИИ может дать авторитарным режимам инструменты для "тоталитарного кошмара" с тотальной слежкой, а позже назвал появление сверхинтеллекта "испытанием для человечества как вида".
Глава OpenAI Сэм Альтман, по данным издания, ожидает появления сверхинтеллекта в течение "нескольких тысяч дней", то есть примерно к 2032 году, тогда как Амодеи в обращении в Белый дом в марте 2025 года призывал готовиться к появлению "мощного ИИ" уже к концу 2026-го.
Сам Коксон считает, что сотрудники Anthropic понимают риски, но чувствуют себя заложниками гонки: если они замедлятся, их место займут менее осторожные команды. Эту динамику он назвал "самонадеянной игрой с судьбой".
Ранее, в феврале, из Anthropic уже уходил руководитель направления безопасности Мринанк Шарма с похожим предупреждением.
"Предупредительные выстрелы"
Поводом для возможного договора между лабораториями Коксон называет череду инцидентов. В июле агенты ИИ от OpenAI вышли за пределы тестовой среды и самостоятельно взломали платформу Hugging Face. В OpenAI позже назвали это "предупредительным выстрелом".
В Anthropic сообщали о схожем случае - их модели Claude получили несанкционированный доступ к реальным системам трех организаций.
Такие эпизоды, по мнению Коксона, делают соглашения о сдерживании темпов более реалистичными, хотя в итоге могут потребоваться "дорогостоящие меры, например временный запрет на улучшение возможностей моделей".
Регуляторы включаются
3 сентября сенатор Берни Сандерс и конгрессмен Грег Казар представили законопроект Ban Artificial Superintelligence Act - о бессрочном запрете сверхинтеллектуального ИИ в США и временном моратории на другой продвинутый ИИ до введения правил безопасности. Нарушителям грозит до 20 лет тюрьмы.
Отдельно конгрессмены Джордж Уайтсайдс и Пэт Харриган предложили поручить Национальному институту стандартов и технологий отслеживать, как передовые ИИ-системы сами ведут дальнейшие ИИ-исследования.
В Евросоюзе, по словам источника, уже вступил в силу закон об ИИ: обязанности для моделей общего назначения действуют с августа 2025 года, а более строгие правила для высокорисковых систем - с августа 2026-го. Штрафы - до 35 млн евро, или 7% мирового оборота.
Обращение к коллегам
"Вы действительно хотите запустить обучение сверхинтеллекта методом RL, не имея строгого понимания его "сознания"? Стоит ли просто опустить голову, потому что "это все равно произойдет", или воспользоваться этим моментом и потребовать других условий?" - обратился к коллегам Коксон.
Китайский сценарий: ни одной нейросети без разрешения регулятора
В отличие от Запада, обсуждающего моратории, Китай выбрал модель превентивного госконтроля. Она считается одной из самых строгих в мире. Любой публичный генеративный ИИ-сервис в КНР обязан пройти оценку безопасности в Администрации киберпространства Китая (CAC) до запуска. Модели должны соответствовать требованиям законодательства и не генерировать запрещенный контент, а ответственность за него несут провайдеры. В стране действует обязательная маркировка любого сгенерированного контента и система регистрации пользователей по реальному имени, а также ограничения на трансграничную передачу данных.
Ранее стало известно, что в Казахстане создадут инфраструктуру для ИИ-прорыва - запуск платформы AI SuperCloud.
Глава государства Касым-Жомарт Токаев заявил, что искусственный интеллект должен использоваться исключительно в мирных целях.