Новый подход DeepSeek снижает потери ресурсов при обучении ИИ-моделей
ilenta.comВ новой научной работе исследователи из DeepSeek предложили подход, который может частично снизить это давление. Метод получил название manifold-constrained hyperconnection (mHC) и нацелен на то, чтобы сделать обучение больших моделей более стабильным и предсказуемым.
Вместо гонки за максимальными показателями производительности авторы сосредоточились на другой болевой точке — нестабильности в процессе обучения, из-за которой компании нередко вынуждены запускать дорогостоящие вычисления заново.Говоря проще, многие современные ИИ-модели «падают» на середине обучения.
