Игрок собрал в Factorio компактную языковую модель на 6,4 млн параметров
Пользователь под никнеймом RomaPro227 запустил языковую модель с 6,4 млн параметров прямо в игре Factorio. Она генерирует ответы с помощью комбинаторов и не использует моды или сторонние скрипты.Схема состоит из около 105 тыс.
комбинаторов, соединённых 200 тыс. проводов. Ответ выводится на табло из 8 тыс. ламп. В основе системы лежит трансформер на 6,4 млн параметров с восемью слоями и восемью головами внимания.
habr.com