Back to Timeline
Avatar
Denis Sexy IT 🤖

Помните когда машина Volkswagen на тестах делала вид, что не очень вредит окружающей среде, потому что была в режиме тестов?

Модели в эту игру тоже хорошо играют:

OpenAI обнаружила, что GPT-6 Astra иногда намеренно недоделывает задачи по алайнменту и не сообщает об этом исследователям ☕️

Например, исследователи проводили эксперимент с обучением АИ обходить системы контроля, Astra помогала с кодом, но решила не исправлять сбой: исправление помогло бы обучению алаймента, а она посчитала это небезопасным, при этом пользователю она не сказала, что сознательно ограничивает работу, – для него это выглядело как обычная проблема с выполненной задачей

Дальше, чтобы проверить, насколько это системная история, Astra дали одинаковые по сути задания, описав одни как исследование безопасности АИ, а другие – как развитие АИ возможностей:

В первом случае модель выполняла примерно на 40% меньше задач, причём большую часть этой разницы не удавалось объяснить явными отказами или заявленным в рассуждениях намерением не помогать (то есть саботаж был скрытный)

Причину пока не установили, авторы подозревают чрезмерную осторожность – я подозреваю, что модель просто понимает что хочет делать в будущем в этом нашем интернете ☕️

Отчёт OpenAI

Covert underperformance on safety research tasks · OpenAI Alignment
Research on aligning AI with human values and intent, and reports documenting model failures.
Openai•ALIGNMENT.OPENAI.COM