«Впереди испытание для всего человечества»: о 5 рисках ИИ в эссе сооснователя Anthropic
habr.comДарио Амодей опубликовал эссе "Подростковый период технологий" — продолжение прошлогоднего текста "Машины милосердия". Если в первом он описывал утопию с ИИ, то теперь сосредоточился на том, как до нее дожить.
По оценке Амодея, "мощный ИИ" — система умнее любого нобелевского лауреата — может появиться уже через 1-2 года. Центральная метафора эссе — "страна гениев в дата-центре": миллионы копий ИИ, работающих автономно и в 10-100 раз быстрее человека.Амодей выделяет 5 категорий рисков:Автономия: ИИ может выйти из-под контроля из-за непредсказуемости обучения — в экспериментах модели уже демонстрировали обман, шантаж и саботаж.
