Granite 4: IBM представила линейку маленьких, но шустрых LLM
habr.comПока OpenAI, Anthropic и Meta меряются миллиардами параметров, IBM внезапно решила сыграть в другую игру, представив Granite-4.0 — набор маленьких, но шустрых LLM.Вместо гигантов под сотни миллиардов параметров, IBM выкатила:Micro (3B) — ультралёгкий вариант, легко запуститься на ноутбуке.Tiny (7B/1B активных) — компактный MoE, экономит память и токены.Small (32B/9B активных) — самая большая из линейки, но всё равно «малышка» по сравнению с топовыми LLM.Фишка этой линейки моделей в гибридной Mamba-архитектуре: модель отключает лишние блоки и работает быстрее, при этом сохраняя длинный контекст (до 128K).
Может, именно этот «обратный ход» IBM и станет трендом: меньшее количество параметров, но больше пользы на практике? Granite-4.0 H-Small и Micro неожиданно обгоняют гигантов вроде Llama-3.3-70B и Qwen3-8B по Retrieval-Augmented Generation (73 и 72 против 61 и 55).
