Сколько данных нужно для вывода
Самая дорогая ошибка в рекламе — вывод по маленькой выборке. «Новое объявление дало 3 заявки с 40 кликов, а старое 1 с 38 — новое втрое лучше!» Нет. При таких числах разница почти наверняка случайна: подбросьте монетку 40 раз дважды, и результаты тоже будут разными.
Чтобы отличить эффект от шума, считают статистическую значимость. Логика простая: мы спрашиваем «какова вероятность получить такую разницу, если на самом деле варианты одинаковы?». Эта вероятность называется p-value. Если она меньше 5% (p < 0,05), разницу принято считать неслучайной.
Из этого следует неприятная арифметика: чем меньше разница, которую вы ловите, тем больше данных нужно. Поймать рост с 2% до 3% — это примерно 3–4 тысячи кликов на каждый вариант. Поэтому при скромных бюджетах тестируют крупное: , посадочную, аудиторию, — а не оттенок кнопки, где разница в доли процента недоказуема в принципе.
Практическое правило: определите нужный объём выборки ДО запуска теста и не подглядывайте в результаты каждый день с желанием остановить. Если останавливать тест в тот момент, когда цифры случайно понравились, значимым можно объявить что угодно — это называется подглядыванием и убивает достоверность.
Калькулятор значимости
Вариант B выглядит лучше — но это правда или случайность? Подвигайте числа и посмотрите, когда разнице можно верить.
Вариант A (контроль)
Конверсия: 2.00%
Вариант B (тест)
Конверсия: 3.00%
Разница
+50%
p-value
0,311
Нужно кликов
3 822
Пока это может быть просто шум
Чтобы поймать разницу такого размера, нужно около 3 822 кликов на каждый вариант — сейчас данных мало. Остановите тест раньше — и рискуете внедрить случайность.
Расчёт: z-тест для двух долей, уровень доверия 95%, мощность 80%. Так же считают значимость в нормальных сплит-тестах.
Ключевые тезисы
- Вывод по десяткам кликов — это чтение по кофейной гуще
- p-value < 0,05 — разницу принято считать неслучайной
- Чем меньше эффект, тем больше нужна выборка
- Малый бюджет — тестируйте крупное: оффер, посадку, аудиторию
- Объём выборки определяют до старта, а не по ходу
Совет практика
Перед следующим тестом посчитайте нужный объём выборки. Если за разумный срок вы его не наберёте — не запускайте этот тест, а выберите гипотезу покрупнее.
Квиз с разбором, конспект и XP — в бесплатном кабинете
Три вопроса по уроку с объяснением каждого ответа, личный конспект, интервальное повторение ошибок и AI-наставник Рекламыч. Уроки открываются по порядку — так знания складываются в систему.
Поделитесь уроком с тем, кому он сейчас нужен