LLM впервые запустили на фотонном чипе: как Q.ANT и AMD скрестили оптику с GPU
Частая боль при работе современных языковых моделей — механизм внимания или self-attention. С ростом контекста он требует квадратично больше вычислений и раздувает KV-кэш в памяти видеокарты.
Чтобы обойти это ограничение, немецкая компания Q.ANT привезла на конференцию SC26 в Чикаго демонстрацию гибридного инференса: часть слоев языковой модели перенесли с видеокарты AMD на фотонный сопроцессор NPU Gen 2+, который считает дискретное преобразование Фурье светом за один проход.
habr.com