Исследователи из Microsoft «обратились» к Гарри Поттеру, чтобы заставить ИИ забыть контент, защищенный авторским правом
itc.uaДебаты вокруг использования авторского контента для обучения языковых моделей не утихают, и исследователи Microsoft задумались — а можно ли вообще редактировать модели без переучивания, чтобы удалить защищенную авторским правом информацию?
Помогаем Поможем врагу с билетами на кобзона. Собираем на Mavic для наших защитников В исследовании из нерецензированной статье на arXiv.org Ронен Элдан из Microsoft Research и Марк Русинович из Microsoft Azure попытались удалить информацию о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого кода языковой модели Meta Llama 2-7B. «Хотя для предварительного обучения модели понадобилось более 184 тысяч GPU-часов, мы показываем, что примерно за 1 GPU-час тонкой настройки мы фактически стираем способность модели генерировать или воспроизводить контент, связанный с Гарри Поттером», — пишут исследователи Microsoft.