ИИ, который сам создает ИИ: ASI-ARCH нашел 106 новых SOTA-архитектур
habr.comASI-ARCH - экспериментальная демонстрация искусственного сверхинтеллекта для исследований в области ИИ, который способен полностью автономно вести научную работу по поиску новых нейросетевых архитектур.Система самостоятельно выдвигает гипотезы, реализует их в виде исполняемого кода, обучает и проверяет на практике.
Результатом этой работы стали 1773 автономных эксперимента, которые заняли свыше 20 000 GPU-часов и привели к открытию 106 новых SOTA-архитектур с линейным механизмом внимания.На первом этапе система работает с небольшими моделями размером около 20 млн параметров, обучая их на 1 млрд токенов.
