NVIDIA выпустила PAIR — виртуальный маршрутизатор локального инференса для домашних ПК
habr.comNVIDIA представила открытый инструмент NVIDIA PAIR® (Personal AI Router®), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети.По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой.
При наличии в доме нескольких компьютеров — например, основного ПК с видеокартой GeForce RTX® и второго ПК или ноутбука — их суммарная вычислительная мощность в простое остается невостребованной.
