vLLM стал частью экосистемы PyTorch
habr.comДвижок для запуска больших языковых моделей vLLM стал частью экосистемы PyTorch. Об этом рассказала команда проекта. Разработчики отметили, что код движка также будет открытым.Первая версия vLLM работала на базе алгоритма PagedAttention, но за последние пару лет проект стал полноценной платформой для запуска нейросетей, управления ресурсами и оптимизации.
С самого начала система работала с фреймворком PyTorch, используя его в качестве унифицированного интерфейса для поддержки аппаратных решений.
