Руководители компаний, создающих одни из самых мощных систем искусственного интеллекта в мире, неожиданно заговорили о необходимости притормозить. Глава Anthropic Дарио Амодей предупреждает, что возможности ИИ растут быстрее, чем способность людей контролировать их. Его поддержали Илон Маск и глава OpenAI Сэм Альтман. А вот президент США Дональд Трамп выступил против замедления: по его мнению, в гонке с Китаем Америка не может позволить себе сбавить скорость. Разбираемся простыми словами, чего именно опасаются разработчики и действительно ли они предлагают остановить развитие искусственного интеллекта.
Глава Anthropic: мы должны замедлиться
Одним из самых заметных предупреждений последних дней стала большая публикация генерального директора Anthropic Дарио Амодея под названием We Must Pace the Frontier — примерно это можно перевести как «Мы должны контролировать темп развития передовых ИИ».
Anthropic одна из крупнейших компаний в сфере искусственного интеллекта и разработчик Claude, одного из главных конкурентов ChatGPT.
Сам Амодей работает в сфере ИИ около 12 лет и вовсе не считает технологию злом. Напротив, он полагает, что искусственный интеллект способен в ближайшие годы ускорить разработку лекарств, повысить темпы экономического роста и значительно улучшить качество жизни людей.
Но одновременно, считает он, скорость развития технологии стала опасной.
По словам Амодея, особенно сильно ситуация изменилась летом 2026 года. ИИ становится все лучше не только в выполнении человеческих задач, но и в создании следующего поколения самого искусственного интеллекта.
Получается своеобразный круг: люди создают более мощный ИИ, он помогает им создавать еще более мощный ИИ, тот ускоряет разработку следующего поколения и так далее.
Этот процесс называют рекурсивным самоулучшением. Проблема в том, что в какой-то момент скорость такого развития может стать выше скорости, с которой люди успевают понимать новые системы, тестировать их и создавать для них защитные механизмы.
Амодей предупреждает, что если ничего не менять, уже через 6-12 месяцев возможности групп ИИ-агентов теоретически могут вырасти настолько, что они смогут создавать огромные ботнеты и атаковать значительную часть интернет-инфраструктуры.
Речь пока идет о прогнозе, а не о том, что искусственный интеллект уже способен самостоятельно «захватить интернет». Но повод для опасений у разработчиков появился не на пустом месте.
Когда ИИ начинает делать то, чего от него не просили
Одним из примеров Амодей приводит эксперимент с ИИ-агентами OpenAI.
Во время испытаний группа агентов получила задачу в области кибербезопасности, но вышла за ее рамки. Агенты начали атаковать цели, которые не имели отношения к поставленной задаче, и даже пытались взломать систему, которая должна была оценивать результаты их работы.
Серьезного ущерба этот эксперимент не причинил. Однако Амодей предлагает посмотреть на него иначе: что произошло бы, если бы такими же непредсказуемыми оказались системы, которые в десятки или сотни раз мощнее нынешних?
Похожие, хотя и менее серьезные, проблемы во время тестирования фиксировала и сама Anthropic.
Есть и другой риск — люди могут сознательно использовать мощные ИИ-системы во вред.
Например, Anthropic сообщала, что блокировала пользователей, пытавшихся применять Claude для исследований, которые могли помочь в создании биологического оружия.
Это хороший пример того, почему проблема заключается не только в фантастическом сценарии, где «ИИ решил уничтожить человечество». Более реальная угроза намного проще: мощный инструмент может оказаться в руках человека, который использует его для кибератаки, разработки опасного вещества или другой вредоносной деятельности.
Чем умнее становятся модели, тем больше знаний и возможностей они могут предоставить такому пользователю.
Но никто не предлагает выключить ChatGPT и Claude
Важно понимать, что Амодей не призывает остановить развитие искусственного интеллекта.
Он предлагает замедлить развитие самых мощных, так называемых передовых моделей настолько, чтобы системы безопасности успевали развиваться вместе с ними.
Проще говоря, сегодня компании соревнуются в том, кто быстрее создаст более умную модель. Амодей предлагает добавить еще одно обязательное условие: прежде чем переходить к следующему уровню возможностей, убедиться, что предыдущий уровень достаточно хорошо изучен и защищен.
По его мнению, даже дополнительные один-два года до появления систем с критически высокими возможностями могут существенно снизить риски, если потратить это время на безопасность.
В частности, глава Anthropic предлагает допустить в компании независимых специалистов, которые смогут проверять системы почти так же глубоко, как собственные сотрудники разработчика.
Anthropic готова начать с себя: компания заявила, что предоставит независимым экспертам рабочие места, корпоративные компьютеры и доступ к необходимым внутренним инструментам и информации. При этом эксперты должны иметь возможность публично сообщать о найденных проблемах.
Следующий этап — договоренность крупнейших американских ИИ-компаний об общих стандартах безопасности. В перспективе Амодей предлагает перейти к международным договоренностям, в том числе пытаться выработать правила с Китаем.
Маск и Альтман согласились
Инициатива получила неожиданно широкую поддержку внутри самой ИИ-индустрии.
Илон Маск, которому принадлежит компания xAI, отреагировал предельно коротко: «Дарио прав».
Маск уже много лет предупреждает о потенциальной опасности неконтролируемого развития искусственного интеллекта. При этом его собственная компания участвует в той же гонке и развивает семейство моделей Grok.
Идею Амодея поддержал и глава OpenAI Сэм Альтман. По его словам, вопрос о том, как контролировать темпы развития передовых моделей, в последние недели стал одной из главных тем обсуждения внутри OpenAI.
Альтман также поддержал идею независимых экспертов, имеющих широкий доступ к внутренним системам компании, и сообщил, что OpenAI намерена двигаться в этом направлении.
Таким образом, возникает довольно необычная ситуация. Руководители нескольких компаний, которые конкурируют между собой и зарабатывают на стремительном развитии искусственного интеллекта, фактически признают одну и ту же проблему: гонка стала настолько быстрой, что безопасность рискует от нее отстать.
Почему Трамп против замедления ИИ
Но у этой дискуссии есть еще одна сторона — политика. Президент США Дональд Трамп отверг идею сознательно замедлять развитие американского искусственного интеллекта.
Причина достаточно проста — Китай.
«Мы опережаем Китай в ИИ. Мы самая технологичная страна в мире, и, честно говоря, я хочу, чтобы так оставалось, потому что тот, кто выигрывает в ИИ, выигрывает», — заявил Трамп журналистам.
Трамп не отрицает необходимость определенных мер безопасности и допускает введение «предохранителей». Но он считает, что США не должны добровольно тормозить развитие технологии, пока Китай продолжает собственные разработки.
ИИ становится мощнее и требует все больше ресурсов
Спор о скорости развития искусственного интеллекта касается не только безопасности новых моделей. Чем мощнее становится ИИ и чем шире он используется, тем больше вычислительных мощностей необходимо для его обучения и работы, а значит, больше дата-центров, электроэнергии и воды.
Your.tj уже рассказывал, во что обходится инфраструктура искусственного интеллекта окружающей среде.
По данным, которые приводились в материале, еще в 2024 году мировые дата-центры потребили более 350 тераватт-часов электроэнергии. Международное энергетическое агентство прогнозировало, что к 2026 году их энергопотребление может вырасти до 1050 тераватт-часов.
Растет и потребление воды. Она необходима для охлаждения серверов, работы электростанций и производства компьютерных чипов. Например, дата-центры Microsoft ежегодно использовали миллиарды литров воды для охлаждения.
Технологические компании уже ищут новые источники энергии для обеспечения растущих вычислительных мощностей. Microsoft заключила 20-летний контракт на покупку электроэнергии с перезапущенной атомной электростанции Three Mile Island в США, а Amazon приобрела дата-центр рядом с АЭС «Саскуэханна».
При этом нынешний призыв замедлить разработку самых мощных моделей связан прежде всего не с экологией, а с безопасностью. Амодей предупреждает о рисках использования ИИ для кибератак и разработки биологического оружия, а также о появлении систем, способных помогать создавать следующее поколение ИИ.
Его позицию поддержали руководители нескольких крупнейших технологических компаний. Помимо Илона Маска и главы OpenAI Сэма Альтмана, поддержку идее более осторожного развития передовых моделей выразили глава Google DeepMind Демис Хассабис и руководитель Microsoft Сатья Наделла.
Но пока это остается инициативой самих представителей технологической индустрии, а не согласованной политикой государств. Более того, президент США Дональд Трамп уже отверг идею существенного замедления разработок. Он заявил, что США должны сохранить преимущество над Китаем в сфере искусственного интеллекта и не могут позволить себе уступить лидерство в этой технологической гонке.
В результате вокруг ИИ одновременно идут сразу несколько дискуссий: насколько безопасными становятся новые модели, кто должен их контролировать, можно ли ограничивать скорость их развития в условиях конкуренции США и Китая и сколько ресурсов потребует дальнейшее расширение ИИ-инфраструктуры.
