Вышла Kimi-Linear-A3B: гигантский контекст при разумных требованиях к железу
habr.comMoonshot AI выложила на Hugging Face новую большую языковую модель под названием Kimi-Linear-48B-A3B-Instruct. Главная особенность — она умеет работать с контекстом до 1 млн токенов, то есть способна держать очень длинные документы, переписки или наборы исходников.
Веса модели открыты, поэтому использовать может любой желающий.Архитектура использует вариант линейного внимания , который позволяет не раздувать память и не замедляться на длинных запросах.
