«Чтение» соцсетей делает ИИ глупее и токсичнее — исследование
habr.comГруппа исследователей из Университета Иллинойса, Массачусетского технологического института и Сингапурского университета управления опубликовала исследование, как дообучение больших языковых моделей на постах из соцсетей влияет на их качество.
Ключевой вывод: модели становятся менее логичными, хуже рассуждают и чаще выдают токсичные или опасные ответы.Ученые собрали корпус коротких и популярных твитов, затем поэтапно добавляли их в процесс дообучения четырех языковых моделей: Llama 3 8B Instruct, Qwen 2.5 7B Instruct, Qwen 2.5 0.5B Instruct, Qwen 3 4B Instruct.
