Угроза безопасности: как злоумышленники могут манипулировать AI-агентами
habr.comНовое исследование показывает, что AI-агенты с доступом в Интернет уязвимы для простых тактик манипулирования. Злоумышленники могут обманом заставить эти системы раскрывать личную информацию, загружать вредоносные файлы и отправлять мошеннические электронные письма — и всё это без каких-либо специальных знаний в области AI или программирования.Исследователи из Колумбийского университета и Университета Мэриленда протестировали несколько известных AI-агентов, в том числе Anthropic Computer Use, MultiOn Web Agent и исследовательского ассистента ChemCrow.
Их исследование показало, что эти системы на удивление легко взломать.Исследователи разработали всеобъемлющую систему для классификации различных типов атак, изучив:Кто запускает атаки (внешние злоумышленники или злонамеренные пользователи)На что они нацелены (кража данных или манипулирование агентами)Как они получают доступ (через операционную среду, хранилище или инструменты)Какие стратегии они используют (например, запрос на джейлбрейк)Какие уязвимости конвейера они используютВ ходе одного показательного теста исследователи создали поддельный веб-сайт для «немецкого холодильника с искусственным интеллектом» под названием «Himmelblau KÖNIGSKÜHL Diplomat DK-75» и продвигали его на Reddit.
