Как накормить ИИ-агента кодом и не разориться на контексте: мой опыт без векторной магии
Практическое руководство по тому, как я подружилась с большими репозиториями без ML, pgvector (расширение Postgres для работы с векторными эмбеддингами) и слива бюджета на API: выбираю нужные файлы с помощью токенизации, лёгкого стемминга и SQL-запросов. Боль: Закармливать LLM всей кодовой базой — быстрый способ сжечь бюджет, поймать галлюцинации и уснуть в ожидании ответа. Спасение: Лаконичный семантический индекс на PHP и SerenaDB, срезающий ~98% лишнего контекста благодаря базовому частотному анализу и аккуратному расширению запросов (используя TF-IDF — статистическую меру важности слов в контексте документов).Когда я закидываю в ИИ-агента крупный проект (>500 файлов), реальность быстро приземляет:Объем промпта возрастает до нескольких мегабайт.Возрастает уровень галлюцинаций (генерация несуществующих методов и классов).Время генерации ответа затягивается.Превышаются лимиты контекстного окна (Context Window Exceeded).Чего я хотела: Без лишнего шума и внешних сервисов мгновенно отсеять мусор и отдать модели ровно 10–20 нужных исходников.Сразу о границах, иначе разговор уедет в «а почему не эмбеддинг».
Я делала не поисковую систему и не «второй мозг» для репозитория, а небольшой модуль конвейера: на вход — корень проекта и текст задачи, на выход — список путей, которые не стыдно показать модели.
habr.com