Discord признала ошибочную блокировку пользователей ИИ из-за безобидных изображений
habr.comDiscord заявила, что ошибка в системе модерации с использованием ИИ ошибочно заблокировала более 8000 пользователей за последние два месяца, пометив безобидные изображения — включая электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — как вредоносный контент.Компания подтвердила, что проблема затрагивала учётные записи с мая, и ещё 200 пользователей были заблокированы в выходные, прежде чем команда выявила и исправила баг.
В настоящее время все затронутые аккаунты находятся в процессе восстановления.Этот инцидент подчёркивает одну из растущих проблем, связанных с модерацией ИИ, поскольку многие платформы всё чаще полагаются на автоматизированные системы для выявления незаконного или оскорбительного контента.В подробном обсуждении на X в Discord объяснили, что автоматизированная система безопасности работает путём сопоставления загруженного контента с базами данных известных вредоносных картинок и шаблонов.
