Ждать, пока A/B‑тест прокрасится, — плохая идея. Объясняю на цифрах
habr.comУ каждого продуктового аналитика есть знакомый сценарий. Фичу раскатывают лесенкой 5% → 25% → 50% → 100%, на каждой ступеньке смотрят метрики, а на 100% начинается ожидание «прокраса».
Сегодня p = 0.07 — «почти, подождём». Через пару дней p = 0.03, но эффект ниже MDE — «подождём, вдруг дорастёт». Ещё через неделю p = 0.04 — «прокрасилось», скриншот в чат.Каждый шаг здесь выглядит разумно, но вместе они ломают статистику.
