«Конверсия выросла на 2% после редизайна» — фраза, которая ничего не значит без размера выборки и доверительного интервала.
Минимальный набор проверок#
| Вопрос | Зачем спрашивать |
|---|---|
| Какой размер выборки? | Малая выборка — почти любое изменение «значимо» на глаз, но не статистически |
| Что ещё менялось в этот период? | Сезонность и параллельные изменения искажают атрибуцию |
| Одинаково ли распределены сегменты? | Разный трафик по каналам может сам объяснить разницу метрик |
- Зафиксировать гипотезу и метрику успеха до запуска изменения.
- Посчитать минимальный размер выборки заранее.
- Смотреть на доверительный интервал, а не только на точечное значение.
Ключевые выводы
- Изменение метрики без проверки статистической значимости — это чаще шум, чем эффект.
- Минимальный размер выборки нужно считать до теста, а не после, глядя на результат.
- Сегментация метрики (по устройству, каналу) часто важнее общего среднего значения.
- Дашборд без контекста (что менялось и когда) провоцирует неверные выводы.
