Nvidia представила Chat with RTX — приложение для локального запуска LLM
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.Приложение доступно для компьютеров под управлением Windows 11.
Пользователь может запускать с его помощью открытые большие языковые модели. В демонстрационном ролике компания показала пример работы с Llama и Mistral.
habr.com