Исследование Стэнфордского университета: боты-терапевты с ИИ дают опасные советы
habr.comИсследователи Стэнфордского университета решили проверить сообщения о случаях, когда пользователи ChatGPT с психическими заболеваниями испытывали опасные бредовые идеи после того, как ИИ подтверждал их теории заговора.
Их работа показала, что популярные модели систематически демонстрируют дискриминационные паттерны по отношению к людям с психическими расстройствами и нарушают типичные терапевтические рекомендации при серьёзных симптомах.Под руководством аспиранта Стэнфордского университета Джареда Мура команда проанализировала терапевтические рекомендации таких организаций, как Министерство по делам ветеранов, Американская психологическая ассоциация и Национальный институт здравоохранения и качества медицинской помощи.На основе этих рекомендаций исследователи выделили 17 ключевых характеристик хорошей терапии, и разработали конкретные критерии оценки соответствия ответов ИИ этим стандартам.
