Perplexity выложила отрытые эмбеддинг-модели
habr.comPerplexity представила pplx-embed – набор многоязыковых моделей для обработки больших объемов информации. Эти модели разработаны для работы с данными из интернета, обеспечивая альтернативу проприетарным API.Особенность новых моделей – использование двунаправленного внимания, позволяющего учитывать весь контекст текста, а не только предсказывать следующий токен.
Также применяется диффузионное предварительное обучение, которое помогает модели выделять важную информацию из шумных данных.В рамках проекта представлены две версии моделей: одна оптимизирована для самостоятельных встраиваний и поисковых запросов, а вторая – для работы с большими документами, используемыми в системах RAG.
