Moonshot AI опубликовала техотчет Kimi K3: новая архитектура, 1 млн контекста и ставка на агентные сценарии
habr.comMoonshot AI выложила технический отчет по Kimi K3 — своей флагманской открытой модели. Вместе с релизом компания подтвердила ключевые архитектурные детали и показала, что K3 действительно заметно отличается от K2 не только масштабом, но и подходом к построению модели.
Завезли новую конструкцию внимания. Если K2 опиралась на один механизм, то в K3 используется связка из 93 слоев, где 69 слоев построены на Kimi Delta Attention (KDA), а 24 — на Gated MLA.
