A/B-тест

A/B-тест — это эксперимент, в котором посетителей сайта случайным образом делят на две группы: одна видит текущую версию страницы (A, контроль), вторая — изменённую (B, вариант), и по заранее выбранной метрике сравнивают, какая версия работает лучше.

Простыми словами

Вместо спора «как лучше, так или так» вы показываете оба варианта реальным покупателям одновременно и смотрите, после какого заказов больше. Группы формируются случайно и живут в одинаковых условиях (тот же день, та же реклама, те же цены), поэтому разница между ними объясняется именно изменением, а не сезоном или акцией.

Optimizely описывает A/B-тест как способ сравнить две версии страницы или приложения: трафик случайно делится между контролем и вариантом, а статистический анализ показывает, какая версия лучше достигает цели (Optimizely). NN/g добавляет: в идеале вариант отличается одним элементом дизайна (NN/g, A/B Testing 101). Сам метод, как напоминает HBR, существует почти сто лет, задолго до сайтов (HBR, 2017).

A/B-тест — основной инструмент проверки гипотез в CRO.

Статистическая значимость простыми словами

Даже две одинаковые страницы за неделю покажут разную конверсию: 2,1% и 2,3%. Это случайность. Статистическая значимость отвечает на вопрос: насколько вероятно, что наблюдаемая разница не случайна.

Optimizely объясняет это через p-value — вероятность увидеть такой же или более сильный результат, если на самом деле разницы между версиями нет. Чем меньше p-value, тем менее вероятно, что рост случаен (Optimizely). Чаще всего используют порог значимости 95%; NN/g называет его обычным (NN/g).

Важно: «значимо» не значит «важно для бизнеса». NN/g напоминает, что значимый результат может оказаться ложноположительным, следствием ошибки измерения или просто слишком малым, чтобы иметь практический смысл.

Размер выборки

Сколько посетителей нужно, определяют до старта теста. NN/g называет три входных параметра (NN/g):

1. Базовая конверсия — текущая конверсия контрольной версии.
2. Минимальный эффект, который вы хотите заметить (MDE) — например, рост на 10% от текущего уровня.
3. Порог значимости — обычно 95%.

Чем ниже базовая конверсия и чем меньший эффект вы хотите увидеть, тем больше людей нужно. Пример VWO: странице с конверсией 5%, MDE 15% и тремя версиями (контроль + два варианта) требуется 40 533 посетителя на каждую версию при классическом (частотном) подходе и 14 674 при байесовском (Wingify/VWO).

Эван Миллер приводит правило для быстрой оценки: n = 16σ²/δ², где σ² = p(1 − p) для конверсии p, а δ — минимальный эффект в абсолютных единицах (Evan Miller).

Условный пример. Магазин с конверсией 2% (p = 0,02) хочет заметить рост до 2,4% (δ = 0,004). σ² = 0,02 × 0,98 = 0,0196. n = 16 × 0,0196 / 0,000016 ≈ 19 600 посетителей на каждую версию, то есть около 39 000 на тест.

Длительность

Optimizely советует проводить тест минимум один бизнес-цикл (7 дней) и считать длительность так: размер выборки × количество версий / среднее число посетителей в день (Optimizely). NN/g рекомендует минимум одну-две недели даже при достаточном трафике, потому что поведение людей колеблется по дням недели.

В примере выше, при 3 000 посетителей в день: 39 000 / 3 000 ≈ 13 дней, то есть две полные недели.

VWO предостерегает и от слишком долгих тестов, и от сравнения периодов с разными внешними условиями: распродажи, праздники (Wingify/VWO). Для украинского магазина это, например, Чёрная пятница или сбои в работе службы доставки.

Типичные ошибки

• Ранняя остановка. Вариант лидирует в первые дни, и тест выключают. VWO прямо говорит, что это не повод останавливать тест (Wingify/VWO); NN/g называет остановку по данным мониторинга в реальном времени распространённой ошибкой.
• Подглядывание (peeking). Классическая статистика требует зафиксировать размер выборки и не смотреть на результат до конца. Эван Миллер в статье 2010 года показал на симуляции: если проверять результат после каждого наблюдения и останавливаться при первой «значимости», ложная победа случается в 26,1% случаев вместо заявленных 5% (это худший сценарий, но, по словам автора, не редкий; Evan Miller). Это математика, а не данные о поведении покупателей, поэтому она не устарела. Если нужно смотреть на промежуточные результаты, используют последовательные или байесовские методы; некоторые инструменты (например, Stats Engine в Optimizely) специально рассчитаны на постоянный мониторинг.
• Изменение настроек посреди теста — целей, дизайна, распределения трафика (Wingify/VWO).
• Слишком много сегментов. Optimizely предупреждает, что мелкие сегменты дают ненадёжные результаты и ложноположительные выводы (Optimizely).
• Много изменений одновременно. Непонятно, что именно сработало, а для многовариантного теста нужно ещё больше трафика.
• Технические ошибки для SEO. Optimizely советует использовать 302, а не 301 редирект для тестовых URL и ставить rel="canonical".

Что изменилось: AI и качество настройки

В отчёте Optimizely 2026 года о 173 тысячах «настоящих» экспериментов (2018–2026, более 1 200 компаний) лучше всего выигрыш предсказывает качество настройки теста: корректно настроенные эксперименты выигрывали в 58% случаев, слабые — в 35%. «Настоящий» эксперимент здесь означает работающий тест с контролем и хотя бы одним вариантом, в каждом из которых не менее 1 000 посетителей (Optimizely, 2026). Это данные вендора инструмента, а не независимое исследование.

В том же отчёте клиенты, которые пользуются AI-функциями Optimizely, запускали примерно вдвое больше экспериментов, чем те, кто не пользуется; авторы прямо пишут, что это наблюдение, а не доказанная причинная связь. Практический вывод без цифр: AI помогает быстрее генерировать гипотезы и варианты, но размер выборки, длительность и правила остановки остаются теми же.

Когда A/B-тест не нужен

• Мало трафика. Если по расчёту тест продлится несколько месяцев, он теряет смысл. NN/g прямо называет малотрафиковые страницы случаем, где A/B-тест не подходит.
• Нужно понять «почему». A/B-тест показывает, что изменилось, но не объясняет причин; для этого нужны качественные исследования (NN/g).
• Очевидная ошибка. Не работает оплата, форма не принимает украинские номера — это исправляют, а не тестируют.

В таких случаях помогают юзабилити-тестирование, записи сессий, микроконверсии (их больше, чем заказов) и сравнение периодов.

FAQ

A/B-тестирование — это что? Эксперимент, где половина посетителей видит старую версию страницы, половина — новую, и по данным определяют, какая лучше.

Сколько должен длиться A/B-тест? Столько, сколько нужно для набора заранее рассчитанной выборки, и не меньше одной полной недели (лучше двух).

Сколько трафика нужно для A/B-тестирования сайта? Зависит от конверсии и ожидаемого эффекта. Обычно это тысячи или десятки тысяч посетителей на каждую версию; точную цифру даёт калькулятор размера выборки.

Можно ли остановить тест, если уже виден победитель? В классическом подходе — нет, это повышает шанс ложного вывода. Дождитесь запланированной выборки.

Связанные термины

• CRO (оптимизация конверсии)
• Конверсия (conversion rate)
• Микроконверсия

Источники

• Optimizely. A/B testing (Optimization Glossary) — optimizely.com/optimization-glossary/ab-testing
• Optimizely. Statistical significance (Optimization Glossary) — optimizely.com/optimization-glossary/statistical-significance
• Optimizely. Lessons learned from 173K experiments, 2026 — optimizely.com/field-notes/guides/173000-experiments
• Tim Neusesser. A/B Testing 101. Nielsen Norman Group, 30.08.2024 — nngroup.com/articles/ab-testing
• Amy Gallo. A Refresher on A/B Testing. Harvard Business Review, 2017 — hbr.org/2017/06/a-refresher-on-ab-testing
• Evan Miller. How Not To Run an A/B Test, 2010 (симуляция, математический факт) — evanmiller.org/how-not-to-run-an-ab-test.html
• Wingify (VWO). A/B Testing guide — wingify.com/ab-testing
• Wingify (VWO). Sample size (glossary), обновлено 24.02.2025 — wingify.com/glossary/sample-size