Погружение в большие языковые модели (часть 1)
Допустим, мы хотим обучить какую-нибудь модельку. Как в целом будет выглядеть процесс обучения?Сначала необходимо собрать и подготовить данные.
Затем эти данные передаются для обучения модели. Наконец, мы оцениваем качество модели. Если показатели нас устраивают, мы выпускаем её в production, если нет - её надо улучшать.Обсудим процесс сбора данных.Изначально у нас есть некоторый источник, из которого мы набираем сырые данные (допустим, интернет).
habr.com