VELDAT

Значимость A/B-теста

Проверяет, не случайна ли разница конверсий двух групп: p-value, доверительный интервал разницы и вывод одной строкой. Если разница не значима, показывает, сколько посетителей нужно, чтобы её заметить; предупреждает, если трафик поделился неровно.

Данные

Группа A (контрольная)

Группа B

Проверка

РезультатЗначимость A/B-теста

Конверсия A

5 %

500 из 10 000

Конверсия B

5,7 %

570 из 10 000

Разница

+0,7 п. п.

+14 % от A

p-value

0,0278

Интервал разницы при 95 %: от +0,08 п. п. до +1,32 п. п.

Разница значима: B лучше A с уровнем доверия 95 %

Конверсии с интервалом 95 %

A
4,57 % - 5,43 %
B
5,25 % - 6,15 %

Дальше обычно делают

Что такое статистическая значимость и зачем её проверять

Конверсии двух групп почти никогда не совпадают, даже если варианты одинаковые: посетители разные, и доля совершивших действие колеблется случайно. Статистическая значимость отвечает на вопрос, можно ли объяснить наблюдаемую разницу такими колебаниями. Если нельзя — разница значима, и, скорее всего, новый вариант действительно работает иначе, чем старый.

Проверка нужна, когда A/B-тест закончен и надо решить, внедрять ли новый вариант, а также когда в отчёте сравнивают конверсии двух кампаний, лендингов или сегментов и делают из разницы выводы.

Как читать результат:

  • значимая разница в пользу B — основание внедрять, если даже нижняя граница интервала разницы оправдывает затраты на изменение;
  • незначимая разница не доказывает, что варианты одинаковы: возможно, тесту не хватило посетителей, и подсказка под выводом покажет, сколько их нужно;
  • интервал разницы показывает, насколько большим или маленьким может оказаться эффект на самом деле, и говорит больше, чем одно p-value;
  • уровень доверия выбирают до теста, а не подбирают после, чтобы разница стала значимой.

Главная ошибка — подглядывание: смотреть результат каждый день и остановить тест, как только разница стала значимой. Так ложные победы случаются намного чаще, чем обещает уровень доверия. Размер выборки считают заранее на странице Размер выборки A/B-теста, а значимость проверяют один раз, когда он набран. Ещё одна ошибка — сравнивать много метрик или сегментов и выбирать ту, где «получилось».

Как пользоваться

  1. Введите число посетителей и конверсий в контрольной группе A и в группе B.

  2. Выберите уровень доверия, обычно — 95 %.

  3. Прочтите вывод: значима ли разница, p-value и интервал разницы. Если разница не значима, под выводом написано, сколько посетителей нужно в каждую группу.

Пример

Было
Группа A: 10 000 посетителей, 500 конверсий
Группа B: 10 000 посетителей, 570 конверсий
Уровень доверия - 95 %
Стало
Конверсия A - 5 %, B - 5,7 %, разница +0,7 п. п. (+14 % от A)
p-value - 0,0278, интервал разницы - от +0,08 до +1,32 п. п.
Разница значима: B лучше A с уровнем доверия 95 %

Как считается

Конверсия группы — доля посетителей с конверсией, разница — в процентных пунктах:

pA=cAnA,pB=cBnB,Δ=pB−pAp_A = \frac{c_A}{n_A}, \qquad p_B = \frac{c_B}{n_B}, \qquad \Delta = p_B - p_A

Здесь nn — посетителей в группе, cc — конверсий.

Значимость проверяется z-тестом для двух долей. Ошибка считается по общей конверсии обеих групп — так, как если бы разницы не было:

pˉ=cA+cBnA+nB\bar p = \frac{c_A + c_B}{n_A + n_B} SE0=pˉ (1−pˉ)(1nA+1nB)\mathrm{SE}_0 = \sqrt{\bar p\,(1 - \bar p)\left(\frac{1}{n_A} + \frac{1}{n_B}\right)} z=ΔSE0z = \frac{\Delta}{\mathrm{SE}_0}

p-value двусторонний: учитывается разница в обе стороны.

p=2 (1−Φ(∣z∣))p = 2\,\bigl(1 - \Phi(|z|)\bigr)

Здесь Φ\Phi — функция стандартного нормального распределения. Разница значима, если p<αp < \alpha, где α\alpha — единица минус уровень доверия: при 95 % — 0,050{,}05.

Интервал разницы строится по ошибке каждой группы отдельно:

Δ±z1−α/2pA(1−pA)nA+pB(1−pB)nB\Delta \pm z_{1 - \alpha/2} \sqrt{\frac{p_A (1 - p_A)}{n_A} + \frac{p_B (1 - p_B)}{n_B}}

Здесь z1−α/2z_{1 - \alpha/2} — квантиль нормального распределения, при 95 % — 1,961{,}96. Интервал в процентах от A — тот же интервал, делённый на pAp_A.

Сколько посетителей нужно. Если разница не значима, число посетителей в группу считается по формуле размера выборки: эффект — наблюдаемая разница ∣Δ∣|\Delta|, конверсия — pAp_A, мощность — 80 %.

Предупреждения. Деление трафика проверяется так: при делении поровну величина ∣nA−nB∣/nA+nB|n_A - n_B| / \sqrt{n_A + n_B} распределена примерно нормально, и если вероятность такого расхождения меньше 0,0010{,}001, появляется предупреждение. Если в группе меньше 5 конверсий или меньше 5 посетителей без конверсии, нормальное приближение неточно — об этом тоже есть предупреждение.

Вопросы и ответы

Что такое p-value?

Вероятность получить такую же или большую разницу, если на самом деле группы не отличаются. Разница значима, если p-value меньше, чем единица минус уровень доверия: при 95 % — меньше 0,05.

Что значит уровень доверия 95 %?

Если на самом деле группы не отличаются, тест ошибочно признаёт разницу значимой примерно в одном случае из двадцати. При 99 % ложных находок меньше, но, чтобы заметить настоящую разницу, нужно больше посетителей.

Почему появилось предупреждение о делении трафика?

Если трафик делится поровну, а размеры групп расходятся сильнее, чем бывает случайно, скорее всего, что-то не так с распределением: например, часть посетителей одной группы не попадает в статистику. Такому результату стоит доверять меньше.

Подходит ли калькулятор для выручки или среднего чека?

Нет, только для конверсий — доли посетителей, совершивших действие. Средние величины проверяют t-тестом по данным каждого посетителя.

Задача сложнее инструмента

Инфраструктуру проекта — облако или свои серверы, мощности под рост нагрузки и их стоимость — можно обсудить на консультации: выберите время, и вы получите письменный итог с конкретными шагами.

Записаться на консультацию