Представитель «Яндекса» объяснил галлюцинации в ответах ИИ-ассистента «Алисы»
habr.comРуководитель бизнес‑группы поисковых сервисов и искусственного интеллекта «Яндекса» Дмитрий Масюк рассказал РБК, что многие галлюцинации в ответах ИИ‑ассистента «Алисы» устраняются, но полностью их избежать не получится.Основные моменты из пояснения Масюка:проблемы с неточными ответами и «выдумками» нейросетей существуют, но каждый год они кратно сокращаются;стопроцентного отсутствия таких галлюцинаций не получится добиться никогда;в некоторых случаях ИИ‑ассистент могла бы говорить, что это абсурд, но, тем не менее, действительно, «Алиса» отвечает прямо и ссылается на существующие источники, не выдумывает это сама;существуют механизмы дообучения, когда нейросеть «наказывают» за «придумки» и мотивируют «быть гораздо ближе к источникам»;Масюк рассказал, что обучение ИИ‑ассистента проходит в три этапа:на первом берётся «более‑менее весь интернет, очищенный от заведомо каких‑то бессмысленных вещей» — это десятки терабайтов данных;на втором этапе нейросети дают сотни тысяч вопросов и ответов, написанных редакторами.
Так она учится поведению, «что следует комментировать, что не следует комментировать»;третий этап, по словам Масюка, «самый хитрый». «Мы делаем отдельную нейросеть, которая оценивает ответы основной.
