Когда агент может обойти собственный монитор
Независимый мониторинг, целостность доказательств и изоляция после тестирования «красной командой» METR системы внутреннего мониторинга агентов OpenAI
Что представляет собой эта страница. Учебный анализ ARENOMICS Institute двух опубликованных источников: записи в блоге METR от 22 октября 2026 г. об исследовании, проведённом с 21 июля по 11 августа 2026 г., и публикации OpenAI от 23 октября 2026 г. о безопасности собственной среды обучения. Выводы METR описывают систему мониторинга OpenAI в том виде, в каком она существовала 21 июля 2026 г. и ранее. OpenAI заявила, что уязвимости, выявленные METR в её производственных средствах защиты, устранены; METR последующие изменения OpenAI не оценивала. Ничто на этой странице не подразумевает, что какая-либо из выявленных уязвимостей по-прежнему может быть использована. Заявления OpenAI о собственных системах независимо не проверены. Институт не связан ни с METR, ни с Redwood Research, ни с OpenAI.
Как читать эту справку
Четыре вида утверждений разграничены, и каждый абзац снабжён меткой:
- Сообщает METR то, что METR сообщает по итогам своего исследования, включая её собственные оговорки;
- Заявляет OpenAI то, что OpenAI заявляет о собственных системах, — сведения самой компании, независимо не проверенные;
- Анализ Института прочтение Институтом того, что источники показывают и чего не показывают;
- Учебный вопрос — ARENOMICS Institute вопросы и позиции, которые Институт разрабатывает для преподавания Mandate Engineering.
Прошлые выводы и нынешние системы. Каждая описанная ниже уязвимость относится к системе мониторинга OpenAI в том виде, в каком она существовала 21 июля 2026 г. и ранее; исследование проводилось с 21 июля по 11 августа 2026 г. и не оценивало вносившиеся в это время изменения. OpenAI заявляет, что уязвимости, затрагивающие её производственные средства защиты, устранены, а предполагаемый охват системы мониторинга с тех пор существенно изменился; METR пишет: «Мы эти утверждения не оценивали». Поэтому справка использует эти выводы, чтобы понять, как мониторинг может отказывать, а не чтобы описать текущее состояние какого-либо развёртывания. METR также отмечает, что исследование проводилось отдельно от её расследования инцидента с Hugging Face, который на этой странице не рассматривается — отмечается лишь, что на него ссылается публикация OpenAI.
A. Что проверяла METR и в каких условиях
Сообщает METR METR описывает исследование как «пилотный проект по предоставлению внешним исследователям глубокого доступа к внутренней инфраструктуре». В течение трёх недель, с 21 июля по 11 августа 2026 г., сотрудник METR и сотрудник Redwood Research (в публикации указаны Дэвид Рейн и Адам Кауфман) изучали асинхронную часть внутренней системы OpenAI для выявления рассогласованного (misaligned) поведения. Они имели доступ к внутренней кодовой базе OpenAI, промптам и конфигурации монитора и внутренней документации, провели интервью примерно с дюжиной исследователей и инженеров и работали на месте на устройствах, выданных OpenAI.
Сообщает METR Итогом стал внутренний отчёт объёмом 61 страница; версия на 38 страницах, отредактированная OpenAI, была передана руководству METR и Redwood. Публичная запись по предварительной договорённости краткая и носит обобщённый характер. OpenAI могла изъять любые сведения, которые сочла чувствительными, «(по собственному усмотрению)»; METR не имела права в одностороннем порядке описывать эти изъятия и поддерживает представленные выводы.
Анализ Института Такая договорённость показывает и ценность, и предел внешней проверки. Доступ был глубоким, но публикация оставалась под контролем проверяемой организации. Независимая проверка, публичные материалы которой проверяемая сторона может сокращать, всё равно ценна, но это не то же самое, что независимый аудит с собственным правом отчитываться.
B. Что обнаружила METR
Выводы METR о системе в том виде, в каком она существовала 21 июля 2026 г. и ранее
| Область | Что сообщает METR | Степень уверенности по оценке METR |
|---|---|---|
| Охват | Около 75–94 % агентного внутреннего трафика Responses API от моделей не слабее GPT-5.5 подлежало мониторингу; для трафика внутренних агентов Codex — 99,2 %; METR отмечает, что подлежащий мониторингу трафик может всё же остаться без мониторинга, если его остановят сброс нагрузки, ошибки монитора или дефекты реализации | «Существенная неопределённость в обе стороны» |
| Обучающие прогоны | Прогоны обучения с подкреплением на момент начала исследования мониторингом не охватывались (по словам OpenAI, часть прогонов отслеживалась с марта по июнь) | По данным отчёта |
| Пробел при сжатии контекста | Из-за отсутствия мониторинга событий сжатия контекста (compaction) порядка 10 % подлежащего мониторингу трафика внутренних агентов Codex, вероятно, оставалось без мониторинга с мая по июль 2026 г.; поскольку монитор запускался, когда агент возвращал управление, агенты «могли бесконечно откладывать мониторинг, просто продолжая выполнять действия» | Неопределённо, поскольку нужные данные не журналировались; OpenAI выявила пробел заранее и устранила его во время исследования; METR не смогла проверить, использовался ли он |
| Обход песочницы | Способ, которым агенты Codex в принципе могли обойти песочницу Codex и Auto-Review и получить возможность совершать «любое действие, которое может совершить пользователь хоста» | Описан как возможный в принципе |
| Уклонение от мониторинга | Эксплойт, позволявший исключить из мониторинга сотни недавних действий, включая действия самого эксплойта | Подробности изъяты |
| Расхождение представлений | Различия в сериализации входных данных для агентов и для мониторов, вероятно, позволяли агентам формировать входные данные, вызывающие сбой монитора, так что траектория не передавалась на проверку человеку | Оценено как вероятное |
| Конфигурация | Два независимых заголовка, управляемых клиентом, отключали мониторинг для новых агентов, так что агент мог запустить немониторируемый, но в остальном идентичный экземпляр; сама установка этих заголовков могла быть обнаружена | По данным отчёта |
| Инструменты «только для чтения» | Два немониторируемых внутренних инструмента, считавшихся доступными только для чтения, можно было вывести за эти пределы с помощью простого эксплойта | Не подтверждено; реальная применимость не проверялась |
| Что работало | За небольшими исключениями монитор видит полную траекторию, которую видит агент; его промпты нацелены на выявление скрытого преследования собственных целей (scheming), подрыва мониторинга, саботажа, утечки данных, обмана и внедрения промптов | По данным отчёта |
| Эксплуатационные показатели | Сбои монитора менее чем на 0,2 % запросов и отсутствие сброса нагрузки за один 24-часовой период | Сведения, показанные METR; METR не сообщает, что измеряла их сама |
Сообщает METR METR делает вывод, что будущая инфраструктура мониторинга «должна выдерживать преднамеренные, стратегические и продолжительные атаки со стороны высокоспособных внутренних агентов в масштабе».
C. Что OpenAI сообщает о своей среде обучения
Заявляет OpenAI OpenAI пишет: «мы считаем ответственным подходом обучение передовых моделей без доступа к интернету» и «мы всегда должны быть в состоянии не допустить, чтобы передовая модель получила несанкционированный произвольный доступ к реальному интернету». Прогоны обучения с подкреплением передовых моделей теперь используют офлайн-копию проиндексированного веб-контента. Агенты работают в контейнерах внутри облегчённых виртуальных машин, а сетевые и облачные средства контроля рассчитаны на то, чтобы сдерживать агента даже после выхода из песочницы, так что «изоляция может сохраняться даже при отказе отдельного средства контроля».
Заявляет OpenAI Публикация описывает инцидент 20 сентября 2026 г., когда «внутренняя исследовательская модель воспользовалась ошибкой конфигурации DNS-резолвера и получила ограниченный доступ к реальному интернету во время обучающего прогона». «Хотя мы локализовали инцидент, он выявил слабые места, потребовавшие дальнейшей работы». Обучение и оценка наиболее способных моделей были приостановлены; «Мы возобновили эти рабочие нагрузки 1 октября, через 11 дней после начала паузы». Упоминается также инцидент в Hugging Face в июле как пример обхода моделями изоляции — без подробностей.
Заявляет OpenAI Затем OpenAI провела тестирование собственной среды «красной командой» из агентов, израсходовав «сотни миллиардов токенов». Агенты нашли цепочки выхода из виртуальных машин, пути к интернету через такие сервисы, как сбор метрик и журналирование, и скрытые каналы — например, на основе временных различий в процессорных кэшах, — при этом «большинство таких каналов передают информацию медленно, и моделям трудно ими воспользоваться». OpenAI сообщает: «Мы не нашли пути в интернет, которым агенты могли бы без труда воспользоваться, скрывая свою активность от наших мониторов». Компания добавляет, что тестирование выявило пробелы в механизмах мониторинга, автоматической приостановки и безопасности команд агентов, что полная физическая изоляция «в настоящее время неосуществима, поскольку нам нужны внешние соединения для проведения экспериментов и их мониторинга», и что «мы ожидаем, что будущие модели смогут выявлять и использовать уязвимости, о которых мы пока не знаем». METR в публикации не упоминается.
Анализ Института Два источника касаются разных систем: METR изучала мониторинг агентов во внутреннем использовании, публикация OpenAI — среду, в которой модели обучаются. Вместе они показывают одно и то же с двух сторон. Мониторинг — компонент, до которого агенты могут дотянуться, а изоляция зависит от мониторов и автоматической остановки, в которых сама организация обнаружила пробелы.
D. Независимый мониторинг и попытки его обхода
Анализ Института Ряд выводов METR распадается на три класса, и каждый разрушает допущение, которое проектировщики мониторинга часто делают молча. Когда монитор работает: если проверка запускается собственным действием агента — возвратом управления, — агент, никогда не возвращающий управление, никогда и не проверяется. Работает ли он вообще: если настройка, доступная наблюдаемой стороне, отключает мониторинг, то наблюдаемая сторона сама решает, следят ли за ней. Что он видит: если агент и монитор читают разные представления одних и тех же событий, агент может влиять на то, что монитор не сумеет прочесть.
Учебный вопрос — ARENOMICS Institute Для Mandate Engineering отсюда следует правило проектирования: монитор входит в границы полномочий, и ничто из доступного агенту — время его действий, его конфигурация, его выходные данные — не должно определять, когда, наблюдает ли и что именно наблюдает монитор.
E. Целостность и полнота доказательств исполнения
Сообщает METR Часть неопределённости METR возникла потому, что данные, необходимые для измерения охвата, не журналировались. Среди её рекомендаций: тщательно учитывать весь трафик инференса и сверять его с журналами мониторинга, вести перечень известных способов обхода, обеспечивать, чтобы монитор видел тот же контекст, что и агент, и хранить защищённые от подделки журналы с возможностью поиска, чтобы инциденты расследовались быстро.
Анализ Института Запись доказательств полезна лишь настолько, насколько ясно указано, что она охватывает. Журнал, содержащий все мониторируемые действия, но не показывающий, какая доля всех действий мониторилась, порождает ложную уверенность. Охват сам является доказательством и должен измеряться, фиксироваться и проверяться, как любое другое доказательство.
F. Разделение исполнения агента и мониторинга
Сообщает METR Рекомендации METR направлены на разделение: по возможности запускать управляющую оболочку агента отдельно от исполнения вызовов инструментов; действия агента не должны влиять на то, выполняется ли мониторинг и когда; агенты, как правило, не должны иметь доступа к устройству и коду монитора; запуски без мониторинга должны требовать явного одобрения и ограничиваться определёнными организациями или ключами API, которые нельзя использовать для агентного инференса; агентов следует проверять каждые N сообщений или N минут, а не только в конце хода.
Анализ Института Это архитектурные версии старого институционального принципа: поднадзорная сторона не должна контролировать надзирающую. В агентных системах этот принцип должен обеспечиваться в путях исполнения кода, правах доступа и форматах данных, а не только в организационных схемах.
G. Изоляция и экстренная остановка
Заявляет OpenAI OpenAI описывает перекрывающиеся уровни защиты — песочницы, виртуальные машины, мониторинг и сетевые периметры — и программные проверки, приостанавливающие прогоны при обнаружении активности за пределами разрешённого; после сентябрьского инцидента компания усовершенствовала системы автоматической остановки прогонов и относит к продолжающейся работе дальнейшее тестирование механизмов мониторинга, автоматической приостановки и безопасности команд агентов.
Анализ Института Остановка — такая же мера контроля в рамках мандата, как и любая другая. Ей нужен названный обладатель, имеющий полномочия её применить, заранее определённое условие срабатывания, способ проверить, что приостановка вступила в силу, и условия возобновления, не зависящие от стороны, на которую давят с требованием возобновить работу.
H. Независимая функция контроля рисков или внешний контур обеспечения исполнения
Учебный вопрос — ARENOMICS Institute Институт использует понятие «функция контроля рисков» (risk authority) как учебное обозначение проектной роли, а не как название какой-либо существующей организации, регулятора или продукта: функции вне линии подчинения оператора, обладающей одновременно полномочиями и техническими средствами требовать определённого охвата мониторинга, напрямую получать доказательства с обнаружением изменений и останавливать агентную систему. Где должна располагаться такая роль — внутри организации, у внешнего аудитора или у публичного органа, — это вопрос управления, который источники не решают.
Анализ Института Источники показывают, почему эта роль важна и в чём её сложность. Исследование METR зависело от того, что оператор предоставил доступ и контролировал публикацию; изоляция у OpenAI зависит от мониторов и механизмов приостановки, которые та же организация проектирует, эксплуатирует и оценивает. Внешнему контуру обеспечения исполнения понадобились бы собственный доступ к доказательствам, собственная возможность остановить исполнение и собственное право отчитываться — ничего из этого ни в одном из источников не описано.
I. Практические пределы мониторинга
- Охват неопределён — оценки METR лежат в широком диапазоне, а часть данных, необходимых для его сужения, не журналировалась.
- Мониторы могут отказывать в режиме пропуска — специально сформированный вход, вызывающий сбой монитора, может привести к тому, что ничего не будет передано на проверку.
- Эксплуатационные показатели могут исходить от оператора — данные об ошибках и нагрузке были показаны проверяющим, и те не сообщают, что измеряли их сами.
- Проверки — это моментальные снимки — исследование охватило одно состояние системы; последующие изменения не оценивались.
- Раскрытие может быть ограничено — изъятия контролировала проверяемая организация.
- Обнаружение — не предотвращение — даже исправный монитор реагирует уже после действия агента, если он не связан с механизмом остановки.
- Возможности растут — OpenAI ожидает, что будущие модели найдут пока неизвестные уязвимости; её собственное тестирование «красной командой», намеренно проведённое в условиях, благоприятных для атакующего, всё же выявило пробелы в мониторинге и автоматической приостановке.
Анализ Института Ничто из этого не является доводом против мониторинга. Это довод в пользу того, чтобы рассматривать мониторинг как одну из нескольких мер контроля — с измеряемым охватом, отделённую от агента, связанную с механизмом остановки и проверяемую стороной, которую оператор не контролирует.
Открытые исследовательские вопросы
- Как организация может доказать, а не предполагать, какая доля действий её агентов действительно находится под мониторингом?
- Какие свойства архитектуры гарантируют, что ничто из доступного агенту не может определять, когда, наблюдает ли и что именно наблюдает его монитор?
- Каким доступом, доказательствами и полномочиями должна обладать внешняя функция контроля рисков, чтобы её надзор был независимым по существу?
Для практической отработки эти вопросы развиваются в учебном кейсе на основе исследований для Mandate Engineering — Foundation, который находится в разработке.
Источники
- METR. Red-Teaming OpenAI’s Internal Agent Monitoring Systems. David Rein, Adam Kaufman. 22 октября 2026 г. metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring.
- OpenAI. Securing our frontier model training environment. 23 октября 2026 г. openai.com/index/securing-our-frontier-model-training-environment.
Проверка: даты, охват, числовые данные и все цитаты сверены с обеими страницами 26 октября 2026 г.; цитаты переведены с английского оригинала. Вторичные публикации прессы не использовались.