Що таке A/B-тест і як його провести

A/B-тест — це експеримент, у якому відвідувачів сайту випадково ділять на дві групи: одна бачить поточну версію сторінки (A, контроль), друга — змінену (B, варіант), і за заздалегідь обраною метрикою порівнюють, яка версія працює краще.

Простими словами

Замість суперечки «краще так чи так» ви показуєте обидва варіанти реальним покупцям одночасно і дивитеся, після якого більше замовлень. Оскільки групи формуються випадково й живуть в однакових умовах (той самий день, та сама реклама, ті самі ціни), різниця між ними пояснюється саме зміною, а не сезоном чи акцією.

Optimizely описує A/B-тест як спосіб порівняти дві версії сторінки чи застосунку, коли трафік випадково ділиться між контролем і варіантом, а статистичний аналіз показує, яка версія краще досягає цілі (Optimizely). NN/g додає: в ідеалі варіант відрізняється одним елементом дизайну (NN/g, A/B Testing 101). Сам метод, як нагадує HBR, існує майже сто років — задовго до сайтів (HBR, 2017).

A/B-тест — основний інструмент перевірки гіпотез у CRO.

Статистична значущість простими словами

Навіть дві однакові сторінки за тиждень покажуть різну конверсію: 2,1% і 2,3%. Це випадковість. Статистична значущість відповідає на питання: наскільки ймовірно, що різниця, яку ви бачите, не випадкова.

Optimizely пояснює це через p-value — ймовірність побачити такий самий або сильніший результат, якщо насправді різниці між версіями немає. Чим менше p-value, тим менш імовірно, що зростання — випадковість (Optimizely). Найчастіше використовують поріг значущості 95%; NN/g називає його звичайним (NN/g).

Важливо: «значущо» не означає «важливо для бізнесу». NN/g нагадує, що значущий результат може бути хибнопозитивним, наслідком помилки вимірювання або просто замалим, щоб мати практичний сенс.

Розмір вибірки

Скільки відвідувачів потрібно, визначають до старту тесту. NN/g називає три вхідні дані (NN/g):

1. Базова конверсія — поточна конверсія контрольної версії.
2. Мінімальний ефект, який ви хочете помітити (MDE) — наприклад, зростання на 10% від поточного рівня.
3. Поріг значущості — зазвичай 95%.

Чим нижча базова конверсія і чим менший ефект ви хочете побачити, тим більше людей потрібно. Приклад VWO: сторінка з конверсією 5%, MDE 15% і три версії (контроль + два варіанти) вимагає 40 533 відвідувачів на кожну версію в класичному (частотному) підході і 14 674 у байєсівському (Wingify/VWO).

Евен Міллер наводить правило для швидкої оцінки: n = 16σ²/δ², де σ² = p(1 − p) для конверсії p, а δ — мінімальний ефект в абсолютних одиницях (Evan Miller).

Умовний приклад. Магазин з конверсією 2% (p = 0,02) хоче помітити зростання до 2,4% (δ = 0,004). σ² = 0,02 × 0,98 = 0,0196. n = 16 × 0,0196 / 0,000016 ≈ 19 600 відвідувачів на кожну версію, тобто близько 39 000 на тест.

Тривалість

Optimizely радить проводити тест щонайменше один бізнес-цикл (7 днів) і рахувати тривалість так: розмір вибірки × кількість версій / середня кількість відвідувачів на день (Optimizely). NN/g рекомендує щонайменше один-два тижні навіть за достатнього трафіку, бо поведінка людей коливається по днях тижня.

У прикладі вище, при 3 000 відвідувачів на день: 39 000 / 3 000 ≈ 13 днів, тобто два повні тижні.

VWO застерігає і від надто довгих тестів, і від порівняння періодів з різними зовнішніми умовами: розпродажі, свята (Wingify/VWO). Для українського магазину це, наприклад, Чорна п'ятниця або збої в роботі служби доставки.

Типові помилки

• Рання зупинка. Варіант лідирує в перші дні, і тест вимикають. VWO прямо каже, що це не привід зупиняти тест (Wingify/VWO); NN/g називає зупинку за даними моніторингу в реальному часі поширеною помилкою.
• Підглядання (peeking). Класична статистика вимагає зафіксувати розмір вибірки й не дивитися на результат до кінця. Евен Міллер у статті 2010 року показав на симуляції: якщо перевіряти результат після кожного спостереження і зупинятися при першій «значущості», хибна перемога трапляється в 26,1% випадків замість заявлених 5% (це найгірший сценарій, але, за автором, не рідкісний; Evan Miller). Це математика, а не дані про поведінку покупців, тому вона не застаріла. Якщо потрібно дивитися на проміжні результати, використовують послідовні або байєсівські методи; деякі інструменти (наприклад, Stats Engine в Optimizely) спеціально розраховані на постійний моніторинг.
• Зміна налаштувань посеред тесту — цілей, дизайну, розподілу трафіку (Wingify/VWO).
• Забагато сегментів. Optimizely попереджає, що дрібні сегменти дають ненадійні результати і хибнопозитивні висновки (Optimizely).
• Багато змін одночасно. Неясно, що саме спрацювало, а для багатоваріантного тесту потрібно ще більше трафіку.
• Технічні помилки для SEO. Optimizely радить використовувати 302, а не 301 редирект для тестових URL і ставити rel="canonical".

Що змінилося: AI і якість налаштування

У звіті Optimizely 2026 року про 173 тисячі «справжніх» експериментів (2018–2026, понад 1 200 компаній) найкраще передбачає виграш якість налаштування тесту: коректно налаштовані експерименти вигравали в 58% випадків, слабкі — у 35%. «Справжній» експеримент тут означає працюючий тест із контролем і хоча б одним варіантом, у кожного щонайменше 1 000 відвідувачів (Optimizely, 2026). Це дані вендора інструмента, а не незалежне дослідження.

У тому ж звіті клієнти, які користуються AI-функціями Optimizely, запускали приблизно вдвічі більше експериментів, ніж ті, хто не користується; автори прямо пишуть, що це спостереження, а не доведений причинний зв'язок. Практичний висновок без цифр: AI допомагає швидше генерувати гіпотези й варіанти, але розмір вибірки, тривалість і правила зупинки лишаються тими самими.

Коли A/B-тест не потрібен

• Мало трафіку. Якщо за розрахунком тест триватиме кілька місяців, він втрачає сенс. NN/g прямо називає малотрафікові сторінки випадком, де A/B-тест не підходить.
• Потрібно зрозуміти «чому». A/B-тест показує, що змінилося, але не пояснює причин; для цього потрібні якісні дослідження (NN/g).
• Очевидна помилка. Не працює оплата, форма не приймає українські номери — це виправляють, а не тестують.

У таких випадках допомагають юзабіліті-тестування, записи сесій, мікроконверсії (їх більше, ніж замовлень) і порівняння періодів.

FAQ

A/B-тестування — це що? Експеримент, де половина відвідувачів бачить стару версію сторінки, половина — нову, і за даними визначають, яка краща.

Скільки має тривати A/B-тест? Стільки, скільки потрібно для набору розрахованої заздалегідь вибірки, і не менше одного повного тижня (краще двох).

Скільки трафіку потрібно для A/B-тестування сайту? Залежить від конверсії й очікуваного ефекту. Зазвичай це тисячі або десятки тисяч відвідувачів на кожну версію; точну цифру дає калькулятор розміру вибірки.

Можна зупинити тест, якщо вже видно переможця? У класичному підході — ні, це збільшує шанс хибного висновку. Дочекайтеся запланованої вибірки.

Пов'язані терміни

• Що таке CRO (оптимізація конверсії)
• Конверсія інтернет-магазину: що це і як її рахувати
• Мікроконверсії: що це і навіщо їх рахувати

Джерела

• Optimizely. A/B testing (Optimization Glossary) — optimizely.com/optimization-glossary/ab-testing
• Optimizely. Statistical significance (Optimization Glossary) — optimizely.com/optimization-glossary/statistical-significance
• Optimizely. Lessons learned from 173K experiments, 2026 — optimizely.com/field-notes/guides/173000-experiments
• Tim Neusesser. A/B Testing 101. Nielsen Norman Group, 30.08.2024 — nngroup.com/articles/ab-testing
• Amy Gallo. A Refresher on A/B Testing. Harvard Business Review, 2017 — hbr.org/2017/06/a-refresher-on-ab-testing
• Evan Miller. How Not To Run an A/B Test, 2010 (симуляція, математичний факт) — evanmiller.org/how-not-to-run-an-ab-test.html
• Wingify (VWO). A/B Testing guide — wingify.com/ab-testing
• Wingify (VWO). Sample size (glossary), оновлено 24.02.2025 — wingify.com/glossary/sample-size