pythonleader Nvidia самит курс крипто токен Broadcom pythonleader

Чип OpenAI разогнал Kimi K2.5 почти до 700 токенов в секунду

В июне OpenAI и Broadcom представили Jalapeño, первый собственный чип OpenAI для инференса языковых моделей. Тогда компании рассказывали в основном про архитектуру и обещали начать развёртывание до конца года.

Теперь появились первые результаты.На Kimi K2.5 чип выдаёт 694 токена в секунду на пользователя против 182 у топового железа NVIDIA текущего поколения.

DMCA