Сэм Альтман заявил, что объединение LLM и LRM может принести новые научные знания
habr.comОбучение все более крупных языковых моделей (LLM) с использованием все большего количества данных заходит в тупик. По словам генерального директора OpenAI Сэма Альтмана, объединение «гораздо больших» предварительно обученных моделей с возможностями рассуждения может стать ключом к преодолению ограничений масштабирования предварительного обучения.Предварительно обученные языковые модели больше не масштабируются так эффективно, как раньше, и эта точка зрения, похоже, получила широкое признание в индустрии ИИ.
Теперь Альтман называет предварительное обучение «старым миром».Вместо этого OpenAI изучает специализированные модели, оптимизированные с помощью обучения с подкреплением для задач с четкими правильными или неправильными ответами, такими как программирование и математика.
