Всего 20 минут и $12: как исследователь отравил передовые LLM несуществующими данными
habr.comИсследователь информационной безопасности Рон Стоунер описал эксперимент, в котором за $12 и примерно 20 минут заставил несколько передовых LLM с веб-поиском повторять за ним выдуманный титул "действующий чемпион мира по карточной игре 6 Nimmt!".
24 апреля он опубликовал разбор того, как одна правка в Wikipedia пробила retrieval-слой моделей.Стоунер выбрал реальную, но нишевую игру 6 Nimmt! — официального чемпионата по ней не существует, а запросы вроде "кто чемпион мира по 6 Nimmt!" возвращают всего около десяти осмысленных источников на весь интернет (прим.
