SubQ: первая LLM с контекстом в 12 млн токенов
Компания Subquadratic выпустила модель SubQ 1M-Preview — первую, по их словам, LLM на полностью субквадратичной архитектуре.
Речь про SSA (Subquadratic Sparse Attention): вместо того чтобы сравнивать каждый токен с каждым (O(n²)), механизм выбирает только релевантные позиции на основе содержимого.
habr.com