У языковых моделей развивается деградация интеллекта из-за мусорных данных
habr.comУчёные предупредили о тревожном феномене, который уже получил собственное имя — Brain Rot, или гниение мозга. Он наблюдается у больших языковых моделей, которые слишком часто обучаются на некачественных данных из интернета: вирусных постах, бессмысленных комментариях, спаме и кликбейтных статьях.
Согласно исследованию, при длительном обучении на таких источниках модель постепенно теряет способность к связному рассуждению.
