243 строки, ноль библиотек: Андрей Карпати написал GPT на чистом Python
habr.comОснователь AI-образовательного стартапа Eureka Labs Андрей Карпати опубликовал microGPT — полную реализацию обучения и инференса GPT в 243 строках Python без единой внешней зависимости.
Из импортов — только стандартные модули math, random, os и argparse.Файл включает все, что нужно для работы языковой модели: собственный движок автоматического дифференцирования (аналог micrograd), посимвольный токенизатор с BOS/EOS-токенами, архитектуру Transformer с multi-head attention, нормализацию RMSNorm, активацию squared ReLU, оптимизатор Adam и цикл генерации текста.
