Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты
В первой части статьи я из любопытства проверил, какие бизнес‑задачи могут решать легкие модели на недорогом VPS без видеокарты.
В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.Сказать по правде, я и сам хотел кое‑что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и так далее.
habr.com