ИИ-сообщество представило крошечный трансформер для складывания 10-значных чисел
habr.comУчастники открытого челленджа AdderBoard довели минимальный трансформер, способный складывать два 10-значных числа, до 130 параметров — в 47 раз меньше исходной модели на 6 080 параметров.
Модель достигает 100%-й точности на тестовой выборке из 10 000 примеров.Все началось с эксперимента Димитриса Папаилиопулоса, профессора Висконсинского университета и исследователя Microsoft Research.
