ИИ-симуляторы пользователей оказались слишком вежливыми – и это проблема. Google придумала, как их раскусить
habr.comИсследователи из Google Research представили ConvApparel – новый датасет и комплексный фреймворк для измерения “разрыва в реалистичности” (realism gap) LLM-симуляторов пользователей.
А заодно – способ этот разрыв уменьшать.На основе датасета авторы построили трёхстолпную систему оценки правдоподобия симуляторов.Современные диалоговые ИИ-агенты неплохо справляются с многошаговыми задачами: задают уточняющие вопросы, помогают пользователю.
