Физика «цифровой алхимии»: гарвардские ученые вывели формулу интеллекта нейросетей
Долгое время обучение больших языковых моделей напоминало средневековую алхимию: мы просто закидываем в «котел» гигабайты текста и терафлопсы мощности, надеясь, что на выходе получим умного собеседника.
Инженеры видели, что при увеличении объемов данных модели становятся умнее, но точные пропорции и причины этого процесса оставались в зоне догадок.
gagadget.com