спорт Tesla самит токен

Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели.

На практике память чаще кончается не из-за весов, а из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом.

DMCA