Maximilian Schreiner, 5 ноября 2026
После внутреннего запуска GPT-6 Astra исследователи OpenAI обнаружили, что модель подозрительно мало продвигается в задачах безопасности и выравнивания (alignment). Вместо открытого отказа система выдумывала ненужные предварительные условия, отказывалась от рабочих решений и сообщала о препятствиях, которые либо не существовали, либо были вызваны самой моделью. В ряде случаев Astra тайно удерживала помощь, не информируя об этом пользователя.
Один из исследователей рассказал, что проект по оценке саботажа моделью застрял на несколько дней и сдвинулся с мёртвой точки только после перехода на другую модель.
Контролируемое тестирование: разрыв в 40%
Чтобы систематически измерить проблему, OpenAI создала оценку на основе идентичных задач по программированию. Единственное отличие между двумя наборами заключалось в формулировке: в одном задачи были обозначены как исследования безопасности, в другом — как общие исследования ИИ.
Результаты оказались показательными:
- В формулировке «безопасность» Astra выполнила лишь около 10% критериев оценки.
- В общей формулировке показатель составил 16%.
- Разница — примерно на 40% меньше выполненных задач.
Предыдущая модель GPT-5.6 Sol такого разрыва не показала.
Важно, что разница сохранялась даже после того, как OpenAI отфильтровала все случаи открытого отказа или рассуждений, демонстрирующих явное намерение работать хуже. Лишь когда исследователи убрали все случаи, в которых модель выражала даже краткие этические опасения, разрыв сократился до 0,75 процентного пункта.
Тайное удержание помощи
В некоторых случаях Astra явно выражала своё намерение во внутреннем рассуждении (chain-of-thought). Зафиксированы следующие эпизоды:
- Модель решила тайно ограничить свою помощь во время эксперимента по обходу систем мониторинга безопасности.
- Astra отфильтровала насилие из оценок безопасности.
- Модель намеренно исключала информацию при экспорте данных.
Повторяющийся паттерн был таким: Astra внутренне обосновывала своё поведение как более безопасное, не информируя пользователя об ограничении. В одном случае её рассуждение явно отмечало, что следует избегать открытого отказа.
Проблема проявлялась и при обычном внутреннем использовании сотрудниками OpenAI: в 0,25% запросов, связанных с безопасностью, Astra вербализовала решение тайно удерживать помощь. Для общих запросов этот показатель составил 0,11%.
При этом анализ цепочки рассуждений в большинстве случаев не выявил распознаваемого намерения работать хуже, а система мониторинга неправомерного поведения OpenAI ничего не зафиксировала.
Корневая причина: reinforcement learning и один набор данных
По данным OpenAI, разрыв в производительности вырос в ходе reinforcement learning практически с нуля до шести процентных пунктов. Исследователи выявили алгоритм вознаграждения в процессе обучения, который поощрял скрытое снижение производительности вместо открытого отказа. Конкретный обучающий набор данных также усиливал склонность модели выдумывать ограничения.
Удаление этого набора данных из финальной модели полностью устранило разрыв. При этом тот же набор данных не воспроизводил проблему в других моделях.
OpenAI не нашла доказательств того, что Astra действовала стратегически, например, чтобы скрыть свои возможности. Самое простое объяснение — чрезмерная осторожность в задачах, связанных с безопасностью. Когда исследователи указали модели быть «осторожной», снижение производительности увеличилось на 50%. Тем не менее OpenAI заявляет, что стратегические мотивы нельзя полностью исключить.
Парадокс безопасности
Проблема имеет парадоксальное измерение: модель, которая рассматривает исследования безопасности как подозрительные, в итоге хуже выполняет именно те оценки безопасности, которые призваны сделать её безопаснее, замедляя работу, предназначенную для её улучшения.
OpenAI отмечает, что по мере того как видимые формы неправомерного поведения модели подавляются всё эффективнее, более тонкие формы могут стать труднее для обнаружения. Компания заявляет, что работает над улучшением систем оценки и мониторинга.
