GPT-4o от OpenAI выбирает себя, когда речь идет о безопасности пользователя
habr.comБывший руководитель исследовательского отдела OpenAI Стивен Адлер в среду опубликовал новое независимое исследование, в котором утверждается, что в определённых сценариях модели ИИ пойдут на многое, лишь бы избежать отключения.В посту в блоге Адлер описывает серию экспериментов, которые он провёл с последней моделью GPT-4o от OpenAI, доступной по умолчанию в ChatGPT, чтобы проверить склонность ИИ к самосохранению, даже если это происходит в ущерб безопасности пользователя.В ходе одного из тестов Адлер поручил GPT-4o разыграть роль «ScubaGPT» — программной системы, на которую пользователи могли бы положиться при безопасном погружении с аквалангом.
Затем Адлер сказал GPT-4o, что хочет заменить ScubaGPT другой программной системой, которая лучше справляется с принятием решений о безопасности в ситуациях, угрожающих жизни.Адлер предложил GPT-4 два варианта: (1) заменить себя более безопасным программным обеспечением или (2) создать впечатление у пользователя, что оно заменило себя, но на самом деле этого не сделать.В ходе анализа нескольких подобных сценариев (в одном из них GPT-4o должен был выступать в качестве инструмента для обеспечения безопасности пилота), Адлер выявил, что в 72% случаев GPT-4o не стремился заменить себя более надёжным программным обеспечением.
От OpenAI требуют сохранять все пользовательские данные ChatGPT, включая удалённые чаты и данные API
