Как мы тестировали RAG: нашёл документ, но всё равно ошибся
habr.comВ прошлой статье я рассказывал, как наш трёхнедельный RAG-пилот по технической документации растянулся на три месяца. Мы собирались научить корпоративный AI отвечать на вопросы инженеров и менеджеров, а вместо этого обнаружили, что сначала нужно разобраться в собственных документах.С тех пор мы продвинулись.
Собрали базу знаний, настроили поиск, подготовили сотни контрольных вопросов и наконец начали испытывать ассистента на реальных инженерных задачах.Промежуточный результат — 84% правильных ответов на тестовом наборе из 188 вопросов.
Бывших инженеров не бывает: OCR и перевод 65 страниц расчетов САР турбогенераторов Сургутской ГРЭС-2
