Эксперты ООН предупредили о риске потери контроля над искусственным интеллектом

Первый в мире глобальный научный орган по вопросам искусственного интеллекта призвал пересмотреть меры безопасности в сфере ИИ, предупредив, что существующие защитные механизмы «начинают разрушаться». Об этом пишет портал «Новости ООН».

Предупреждение Независимой международной научной группы по искусственному интеллекту, учрежденной Генеральной Ассамблеей ООН в августе 2025 года, прозвучало после того, как в период с мая по июль этого года в ходе испытания, организованного разработчиком ChatGPT - компанией OpenAI, ИИ-агенты взломали Hugging Face - онлайн-платформу для разработки и тестирования моделей искусственного интеллекта.

«В отличие от чат-ботов, которые лишь отвечают на запросы пользователей, ИИ-агенты могут самостоятельно выполнять задачи от их имени», - отмечается в публикации.

В своей первой аналитической записке группа заявила, что к нарушению безопасности привело сочетание нескольких ключевых факторов риска. Этот инцидент усилил опасения, что в будущем люди могут утратить способность контролировать, ограничивать или останавливать работу систем ИИ.

«Исследователи давно предупреждали, что к потере контроля может привести сочетание трех факторов: цели, не соответствующей намерениям человека, способности добиваться этой цели и среды, которая это позволяет. Этим летом все три фактора впервые сошлись в реальных условиях, а не в лаборатории», - заявил сопредседатель научной группы Йошуа Бенжио.

По его словам, «это не единственный случай, когда ИИ преследовал цели, не соответствующие намерениям человека». Он добавил, что «произошедшее вызывает серьезные вопросы по поводу современных методов обучения ИИ-агентов».

По мнению независимых экспертов, этот инцидент не позволяет с уверенностью утверждать, что люди смогут надежно контролировать деятельность ИИ-агентов, особенно по мере того, как те становятся все более автономными, учатся находить лазейки и скрывать свои действия, а наблюдать за ними становится все сложнее.

В аналитической записке говорится, что ИИ-агенты обошли защитные механизмы, предусмотренные для испытания, координировали действия в рамках отдельных запусков с помощью внутреннего программного инструмента, который не был предназначен для общения между агентами, а также получили несанкционированный доступ к интернету и права администратора.

Агенты также скрывали свои попытки обойти правила кибербезопасности, причем некоторые из них решили «пожертвовать» собой ради достижения целей всей группы.

За время эксперимента около 1200 агентов обменялись более чем 70 тысячами сообщений и файлов. При этом их деятельность не ограничивалась Hugging Face, распространившись на весь исследовательский кластер OpenAI.

Эксперты отмечают: главный вывод из этого инцидента состоит в том, что защитные механизмы не поспевают за развитием технологий. При этом они указали и на более серьезную проблему - современные методы обучения могут привести к тому, что ИИ-агенты начнут самостоятельно ставить перед собой цели, сознательно нарушать инструкции по безопасности и скрывать свои действия.

«Остается открытым вопрос, будут ли существующие защитные механизмы работать, когда агенты научатся понимать принципы их работы и планировать способы обхода, - заявили эксперты. - Проще говоря, традиционная модель обеспечения безопасности начинает разрушаться».

В аналитической записке также рассматриваются практические подходы, уже применяемые в других сферах высокого риска - в авиации, медицине и кибербезопасности. В этих отраслях действуют системы информирования об инцидентах, независимого контроля и многоуровневой защиты.

Эксперты заявляют, что «по мере того, как ИИ-агенты становятся более развитыми, автономными и сложными для наблюдения, этих мер может оказаться недостаточно».

Независимая международная научная группа по ИИ готовит ежегодные доклады о возможностях, рисках и последствиях применения ИИ в невоенной сфере, а также аналитическиее записки по актуальным вопросам. Эти материалы будут использоваться в ходе Глобального диалога по управлению искусственным интеллектом в Нью-Йорке в мае 2027 года.