Исследователи DeepSeek выпустили nano-vLLM — компактный движок для запуска языковых моделей
habr.comКоманда исследователей DeepSeek выпустила nano-vLLM — легковесный движок для запуска языковых моделей. Проект написан с нуля на Python и занимает около 1200 строк, что меньше существующих решений.
Код nano-vLLM опубликован на GitHub.Авторы проекта отмечают, что существующие движки для запуска языковых моделей, например vLLM, обеспечивают впечатляющую производительность.
