A/B-тестирование и почему не стоит им злоупотреблять
A/B-тест является важной составляющей процесса разработки и оптимизации современных цифровых продуктов. И на то есть веская причина. При правильном подходе к A/B-тестированию вы вносите одно или несколько изменений в тестовую версию дизайна и сравниваете ее с текущей версией. Таким образом вы определяете, какая из версий демонстрирует лучшие результаты, а также получаете большую выборку данных о поведении пользователей. Однако это не дает вам полную информационную картину, поскольку вы не знаете, почему тот или иной вариант дизайна оказался более эффективным, и что об этом думают пользователи. Применение A/B-тестирования в качестве единственного метода оценки эффективности дизайна может привести к ухудшению качества отдельных его элементов и, соответственно, к негативному пользовательскому опыту.
Доводилось ли вам посещать физический магазин одежды в последнее время? Что происходит сразу, как только вы заходите внутрь? Внезапно появляется продавец-консультант и спрашивает:
-Привет, как дела? Могу ли я помочь вам найти что-нибудь?
Вы пытаетесь увильнуть от него, так как сегодня вы уже посетили пару-тройку магазинов и вам надоело повторять одно и то же:
-Нет, спасибо. Я просто смотрю.
Вы проходите несколько метров, и кажется, что горизонт чист и можно расслабиться. Начинаете выбирать одежду для примерки, как вдруг появляется еще один продавец:
-Здравствуйте, вам что-нибудь подсказать?
-Эээ.
Вы снова совершаете обманный маневр и пытаетесь укрыться в безопасном месте, где вам никто не помешает спокойно делать покупки. Но там вас уже поджидает очередной консультант. Итак вы тщетно пытаетесь избежать встречи с продавцами, которые преследуют вас повсюду. В конце концов вы убегаете из магазина и больше никогда туда не возвращаетесь. Это наглядный пример ужасного потребительского опыта. В наши дни подобное происходит сплошь и рядом.
Как это могло случиться? Ну, не то чтобы кто-то целенаправленно работал над созданием невыносимых стрессовых условий для покупателей. Все это стало результатом проведения серии небольших экспериментов. Сначала было экспериментально установлено, что внедрение сотрудника, приветствующего посетителей на входе в магазин, способствует росту продаж. Поэтому наличие такого сотрудника стало новым стандартом обслуживания. Затем последовал ряд экспериментов с разделением торгового зала на несколько зон и размещением сотрудников в каждой из них, что привело к еще большим объемам продаж по сравнению с торговыми залами, в которых присутствовал лишь один сотрудник. Со временем это также стало стандартной практикой. Далее проводились эксперименты по поводу того, что должны говорить сотрудники и сколько времени им нужно выждать, прежде чем вступить в контакт с посетителями. В результате магазины буквально кишат продавцами, которые неустанно преследуют потенциальных покупателей в надежде хоть немного улучшить показатели продаж. В целом, эти нововведения производят негативное впечатление на потребителей, держат их в стрессовом состоянии и в каком-то смысле обезличивают всех участников процесса. Каждое нововведение способствует незначительному росту показателей, но при этом потребительский опыт становится чуть менее приятным. Каждое новшество в отдельности не приводит к отказу от покупок, однако в совокупности они дают отрицательный кумулятивный эффект, превращая процесс покупки в настоящий кошмар.
Сейчас розничные торговые точки стремительно сдают свои позиции интернет-магазинам, и несложно догадаться, в чем причина. Безусловно, намного проще и удобнее делать покупки онлайн. К тому же это позволяет нам избежать неприятного опыта взаимодействия с продавцами, которые оказывают давление с целью вынудить нас принять поспешное решение о покупке. Однако электронная коммерция постепенно превращается в такой же кошмар. Окна, всплывающие поверх других всплывающих окон, чат-боты, рекламные баннеры, flash-анимация – все это отвлекает наше внимание.
Это является следствием все той же практики оптимизации посредством A/B-тестирования. Мы проводим тесты с целью определить, какая из версий дизайна демонстрирует более высокие результаты, но при этом мы имеем слабое представление о том, почему так происходит. Проблема заключается в том, что мы не уделяем должного внимания пользователям и не пытаемся понять, почему они совершают те или иные действия и что они при этом думают. Мы лишь знаем, что внедрение модального окна позволит нам оказать давление на пользователей, и это, вероятно, приведет к незначительному увеличению количества подписчиков. При этом упускается из виду тот факт, что таким образом мы подрываем репутацию нашего бренда.
Так что не стоит злоупотреблять A/B-тестированием. Уделяя внимание улучшению отдельных элементов, мы часто, сами того не осознавая, ухудшаем качество пользовательского опыта в целом. Пошаговый процесс оптимизации дизайна может привести к обратным результатам. Каждый небольшой эксперимент в отдельности может оказаться полезным, но в совокупности они представляют собой плохое сочетание. Поэтому важно комбинировать A/B-тестирование с качественными исследованиями, которые дают ответ на вопрос, почему ваше дизайнерское решение повлияло на те или иные метрики.
Перевод с видео https://www.nngroup.com/videos/dont-ab-test-yourself-cliff/