Microsoft сможет выявлять слабые места в генераторах кода (если верить патентной заявке компании)
habr.comГенерация кода с использованием ИИ стала одним из наиболее эффективных применений мощных базовых моделей. Однако такие системы имеют недостатки, и Microsoft разрабатывает инструмент для их устранения.Технологический гигант подал заявку на патент под названием «Устранение уязвимостей стороннего кода при генерации кода, созданного при помощи ИИ».
Эта технология предназначена для выявления уязвимостей в коде, импортированном из библиотек.Как указано в документе, хотя ИИ-модели способны сократить время написания кода, они обучаются на данных, которые могут не учитывать обновления библиотек — например, патчи, применённые к сторонним пакетам после обучения модели. «В результате модель может рекомендовать устаревшие или уязвимые версии сторонних пакетов», — отмечается в заявке.Когда LLM используется для генерации кода, технология Microsoft обеспечивает защиту от уязвимостей за счёт промежуточного слоя (middleware), который действует как фильтр между моделью и пользователем.Этот слой перехватывает сгенерированный код, извлекает все ссылки на сторонние пакеты и сравнивает их со списком «сертифицированных» пакетов — безопасных, проверенных и не содержащих известных уязвимостей.
