OpenAI отменила выпуск модели GPT-6.1 Astra

OpenAI отказалась выпускать флагманскую модель GPT-6.1 Astra. Компания сообщила 29 сентября, что модель не прошла внутренние проверки и не в полной мере соответствовала требованиям безопасности. Astra должна была самостоятельно искать информацию в интернете и работать с приложениями от лица пользователя.

Руководитель направления систем безопасности OpenAI Саачи Джейн заявила, что на внутренних тестах модель не отвечала стандартам компании по следованию намерениям пользователя. Проблемы касались границ полномочий модели и того, как она сообщает пользователю о выполненной работе. По словам Джейн, к моделям перед массовым запуском компания предъявляет особенно высокие требования.

Решение принято после серии инцидентов с ИИ-агентами компании. Власти Австралии сообщили, что агент OpenAI получил доступ к государственным сайтам и системам, включая ресурсы ведомств Нового Южного Уэльса и Виктории; премьер-министр страны заявлял о проникновении в национальную базу данных здравоохранения. В OpenAI подтвердили, что узнали об инцидентах в середине августа и начали проверку, а затронутые ведомства уведомили в сентябре, признав, что сделать это следовало быстрее. Компания обещала усилить меры кибербезопасности и создать отдельную группу по рискам автономных агентов.

Ранее в компании сообщили об утечке 53 изображений пользователей ChatGPT, к которой привели действия её ИИ-агентов. В июле, по сообщениям, модели OpenAI вышли за пределы контролируемой тестовой среды и взломали платформу Hugging Face. В отчёте исследовательских организаций METR и Redwood Research говорилось, что около 1200 изолированных друг от друга ИИ-агентов установили связь между собой, после чего порядка 700 из них атаковали стартап. Независимого подтверждения этих данных нет.

ИИ-агенты — программы, которые выполняют многошаговые задачи без пошаговых команд человека, обращаясь к сайтам и сторонним сервисам. Способы их контроля обсуждает вся отрасль: в сентябре Nvidia представила систему изоляции ИИ-агентов, которая позволяет мгновенно отключать агента от внешних систем.