Nvidia показала GPU для моделей со сверхдлинным контекстом
Nvidia показала новый графический процессор Rubin CPX, созданный специально для работы с языковыми моделями и мультимодальными системами, которым требуется обрабатывать огромные объёмы информации.
Чип оптимизирован под контексты свыше 1 миллиона токенов — это в разы больше, чем способны удерживать в памяти даже самые передовые модели сегодня.
habr.com