xAI опубликовала открытые веса Grok 2. Для запуска требуется 8 GPU
Компания xAI выложила на Huggingface открытые веса Grok 2 с инструкцией по запуску. Grok 2 основан на MoE-архитектуре с 8 локальными экспертами и максимальной длиной контекста в 131 072 токенов (ROPE-масштабирование).
Для запуска авторы рекомендуют SGLang: чекпойнт весит около 500 ГБ (42 файла) и рассчитан на 8 GPU с памятью > 40 ГБ на карту.
habr.com