Значимый A/B‑тест завышает рост. Считаем, во сколько раз
habr.comВсем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про эксперимент, после которого иначе читаешь зелёную строку в отчёте об A/B‑тесте и по‑новому смотришь на данные в продуктовой аналитике.Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.
Знакомая картина. Тест новой формы заказа показал относительный рост конверсии на 6%, p‑value 0,03, команда выкатывает вариант и закладывает шесть процентов в план.
