продукты происшествия деньги политика крипто

Безопасность LLM‑агентов и генеративных продуктов: угрозы и методы защиты

Привет, меня зовут Николай Шуляев, я Security Business‑партнёр Авито. Главный контекст, который необходимо понимать при построении архитектуры любого генеративного продукта с использованием LLM — это то, что модель не различает данные и инструкции.

Модели всё равно, что является пользовательскими данными, а что — системными инструкциями: она будет исполнять всё. Поэтому очень важно внедрять механизмы разграничения, чтобы система четко понимала, где находится пользовательская инструкция, а где — преднамеренное действие разработчика.

DMCA