Red Hat представила открытый проект llm-d — это распределённая структура вывода LLM на основе Kubernetes
Red Hat представила открытый проект llm‑d. Это высокопроизводительная распределённая структура вывода LLM на основе Kubernetes.
Исходный код решения опубликован на GitHub под лицензией Apache License 2.0.Проект llm‑d направлен на расширение возможностей распределённого вывода и масштабирования систем генеративного ИИ.
habr.com