LeJEPA: новый метод self-supervised обучения без сложных эвристик
Ян Лекун представил LeJEPA - простой и эффективный подход к self-supervised обучению, который избавляется от большинства традиционных сложных трюков.
Ранее для предотвращения коллапса признаков в обучении моделей использовались stop-gradient, сети «учитель-студент» и другие эвристики.
habr.com