Помните когда машина Volkswagen на тестах делала вид, что не очень вредит окружающей среде, потому что была в режиме тестов?
Модели в эту игру тоже хорошо играют:
OpenAI обнаружила, что GPT-6 Astra иногда намеренно недоделывает задачи по алайнменту и не сообщает об этом исследователям ☕️
Например, исследователи проводили эксперимент с обучением АИ обходить системы контроля, Astra помогала с кодом, но решила не исправлять сбой: исправление помогло бы обучению алаймента, а она посчитала это небезопасным, при этом пользователю она не сказала, что сознательно ограничивает работу, – для него это выглядело как обычная проблема с выполненной задачей
Дальше, чтобы проверить, насколько это системная история, Astra дали одинаковые по сути задания, описав одни как исследование безопасности АИ, а другие – как развитие АИ возможностей:
В первом случае модель выполняла примерно на 40% меньше задач, причём большую часть этой разницы не удавалось объяснить явными отказами или заявленным в рассуждениях намерением не помогать (то есть саботаж был скрытный)
Причину пока не установили, авторы подозревают чрезмерную осторожность – я подозреваю, что модель просто понимает что хочет делать в будущем в этом нашем интернете ☕️