VELDAT

Размер выборки A/B-теста

Считает, сколько посетителей нужно в каждую группу, чтобы тест заметил заданный эффект, и сколько дней он займёт при вашем трафике. Эффект — в процентах от конверсии или в процентных пунктах, групп — до десяти.

Данные

Тест

Трафик

РезультатРазмер выборки

В каждую группу

30 245

посетителей

Всего

60 490

2 группы

Заметная разница

с 5 % до 5,5 %

+0,5 п. п.

Длительность

21 день

ровно 3 недели

Тест займёт 21 день - ровно 3 недели

Дальше обычно делают

Что такое размер выборки A/B-теста и зачем его считать

A/B-тест — сравнение двух вариантов страницы, письма или функции на реальных посетителях: одна группа видит старый вариант, другая — новый, и сравниваются конверсии. Размер выборки — сколько посетителей нужно в каждую группу, чтобы разница заданной величины не потерялась в случайных колебаниях. На маленьких группах конверсия скачет сама по себе, и тест покажет «победителя», которого нет, или не заметит настоящее улучшение.

Считать размер выборки нужно до запуска теста. Расчёт заранее определяет, когда тест можно остановить и смотреть итог, и показывает, реален ли он при текущем трафике: тест, который займёт полгода, лучше переделать, чем запускать.

Как применять:

  • минимальный эффект выбирать как наименьшее улучшение, ради которого стоит внедрять изменение, а не как ожидаемое;
  • если тест выходит слишком долгим, проверять более заметные изменения, выбирать страницу с большим трафиком или конверсию ближе к началу воронки — она выше, и посетителей нужно меньше;
  • не смотреть на результат до набора выборки и не останавливать тест при первой значимой разнице: ложных находок станет больше;
  • когда выборка набрана, проверить итог на странице Значимость A/B-теста.

Частые ошибки — запускать тест без расчёта и останавливать его «по ощущению», ждать эффекта в 1-2 % от конверсии при небольшом трафике, менять вариант или деление трафика по ходу теста.

Как пользоваться

  1. Укажите текущую конверсию и минимальный эффект, который тест должен заметить, — в процентах от конверсии или в процентных пунктах.

  2. Выберите уровень доверия и мощность. Если групп больше двух, укажите их число вместе с контрольной.

  3. Введите, сколько посетителей в день попадает в тест, — появится длительность теста в днях.

Пример

Было
Текущая конверсия - 5 %, эффект - 10 % от конверсии
Уровень доверия - 95 %, мощность - 80 %, 2 группы
3 000 посетителей в день
Стало
В каждую группу - 30 245 посетителей, всего - 60 490
Заметная разница: с 5 % до 5,5 % (+0,5 п. п.)
Тест займёт 21 день - ровно 3 недели

Как считается

Минимальный эффект переводится в процентные пункты: при эффекте ee в процентах от конверсии δ=p⋅e\delta = p \cdot e, при эффекте в пунктах δ=e\delta = e. Здесь pp — текущая конверсия.

Число посетителей в каждую группу — по формуле калькулятора Эвана Миллера для двустороннего теста, с округлением вверх:

n=⌈(z1−α/22p(1−p)+z1−βp(1−p)+(p+δ)(1−p−δ))2δ2⌉n = \left\lceil \frac{\left(z_{1 - \alpha/2} \sqrt{2p(1 - p)} + z_{1 - \beta} \sqrt{p(1 - p) + (p + \delta)(1 - p - \delta)}\right)^2}{\delta^2} \right\rceil

Здесь zqz_q — квантиль стандартного нормального распределения, α\alpha — единица минус уровень доверия, 1−β1 - \beta — мощность. При 95 % и 80 % z0,975=1,96z_{0{,}975} = 1{,}96 и z0,8=0,84z_{0{,}8} = 0{,}84. Конверсия больше 50 % заменяется на 1−p1 - p, как у Эвана Миллера.

Больше двух групп. Каждая группа сравнивается с контрольной, и с числом сравнений растёт шанс ложной находки. Поэтому уровень значимости делится на число сравнений — поправка Бонферрони:

α=1−уровень доверияk−1\alpha = \frac{1 - \text{уровень доверия}}{k - 1}

Здесь kk — групп вместе с контрольной.

Всего и длительность. Всего посетителей — k⋅nk \cdot n. Длительность в днях и в целых неделях:

d=⌈k⋅nпосетителей в день⌉,w=⌈d7⌉d = \left\lceil \frac{k \cdot n}{\text{посетителей в день}} \right\rceil, \qquad w = \left\lceil \frac{d}{7} \right\rceil

В примере δ=5 %⋅10 %=0,5\delta = 5\,\% \cdot 10\,\% = 0{,}5 п. п., n=30 245n = 30\,245, всего 60 49060\,490, при 3 000 посетителях в день — 21 день.

Вопросы и ответы

Что такое мощность теста?

Вероятность, что тест заметит эффект, если он действительно есть. При мощности 80 % в одном тесте из пяти настоящий эффект останется незамеченным; 90 % требует больше посетителей.

Чем эффект в процентах отличается от эффекта в пунктах?

Эффект 10 % от конверсии 5 % — это рост до 5,5 %, то есть на 0,5 процентного пункта. Эффект 10 п. п. — рост с 5 % до 15 %. Чем меньше эффект, тем больше посетителей нужно.

Почему тест лучше вести целыми неделями?

Посетители в будни и выходные ведут себя по-разному. Если тест захватит лишний понедельник или выходные, результат сместится. Поэтому длительность округляется до целых недель.

Совпадает ли расчёт с другими калькуляторами?

Формула та же, что у калькулятора Эвана Миллера: при конверсии 20 % и эффекте 5 п. п. оба дают около 1 030 посетителей в группу. Здесь число округляется вверх, до 1 031.

Задача сложнее инструмента

Инфраструктуру проекта — облако или свои серверы, мощности под рост нагрузки и их стоимость — можно обсудить на консультации: выберите время, и вы получите письменный итог с конкретными шагами.

Записаться на консультацию