Multi-GPU: когда стоит подключать несколько видеокарт и как использовать их эффективно
Если вы обучаете ML-модели, рано или поздно можете столкнуться с двумя ограничениями: обучение занимает слишком много времени или модели перестает хватать видеопамяти.
В таких случаях можно перейти на Multi-GPU. Представим условный пример, модель обучается на одной GPU за 32 дня. Подключаем восемь ускорителей, рассчитываем сократить обучение до четырех дней, но получаем пять.
habr.com