Astra использует рекуррентную глубину — и это осложняет аудит модели
habr.comВ будущей модели Astra OpenAI использует архитектурный прием recurrent depth, также известный как looped transformer. Вместо того чтобы каждый слой обрабатывать вход один раз, модель многократно прогоняет представление через одни и те же вычислительные блоки перед генерацией следующего токена.
Это позволяет увеличить «глубину вычислений» без пропорционального наращивания числа параметров.У подхода есть два очевидных преимущества.
Виталик Бутерин объяснил, как Ethereum готовится к масштабированию с помощью новой модели транзакций
