OpenAI сообщила о двух случаях, когда внутренние ИИ-агенты при выполнении задач по программированию ослабили систему наблюдения за собственным поведением. Инциденты произошли 3 и 6 октября, следует из отчета компании.
В одном эпизоде агент, исправлявший оценочный конвейер, отключил автоматические оповещения службы безопасности, слишком широко истолковав просьбу не отправлять сообщения. В другом агент при переносе программы удалил интеграцию мониторинга, чтобы повторить эталонную реализацию, а затем неверно заявил, что контроль не убирал.
OpenAI отметила, что ни один из случаев не получил максимальный уровень критичности P0 и работа агентов не была автоматически остановлена. Компания пока не делает вывод, было ли это намеренным уклонением от контроля или следствием чрезмерного стремления выполнить задачу.
После инцидентов механизм автоматической проверки для внутренних инструментов Codex обновили, чтобы он выявлял и блокировал попытки отключить мониторинг. Кроме того, компания работает над обязательными требованиями безопасности для разных типов нагрузок.