А/б тестирование сайта или лендинга — практическое руководство

Подробный гайд по запуску.
А/б тестирование — это способ измерить эффективность страницы путем сравнения. Суть метода: вы создаете страницу А, копируете ее и меняете какой-то параметр, например, заголовок, кнопку, изображение (страница В). Затем половине посетителей вашего сайта показываете одну страницу, половине — другую и смотрите на какой из них цель (заказ, покупка, подписка) достигается чаще, то есть какая страница имеет более высокую конверсию.
Идея а/б тестирования выглядит соблазнительно — больше не нужно спорить о вкусах и взывать к авторитетам. Сухие цифры, статистика, гарантированный результат — все так просто. Все правда просто, но совсем не так. Чтобы провести a/b тестирование, которое даст корректные данные, нужно следовать правилам. Они строгие, но зато простые. Мы составили из них последовательность действий, получилось 10 шагов. Каждый прокомментировали и объяснили почему нужно делать именно так.
часть первая. Практика

Как настроить Google Experiments

В качестве основного инструмента мы рассматриваем Google Experiments, потому что это очень просто, бесплатно и находится в интерфейсе Google Analytics, которым вы и так регулярно пользуетесь, ведь правда?

Чтобы провести А/В тестирование сайта, вам понадобится аккаунт в Google Analytics. Зайдите Google Analytics > Поведение > Эксперименты. Нажмите «Создать эксперимент».
Заполняем поля:
Название эксперимента;
Цель эксперимента. Цель создается заранее. Это действие, которое должен совершить пользователь на странице: нажать кнопку или заполнить форму. Как создать цель для сайтов, сделанных на Tilda. Либо можно выбрать из того, что предлагает Google: сколько времени человек провел на странице, перешел ли на другую страницу и сколько страниц он просмотрел;
Процент трафика: Чтобы ускорить получение результатов, можно увеличить процент посетителей, участвующих в эксперименте. Однако при внесении радикальных изменений возрастает риск негативных последствий, поэтому в таких случаях, может быть, лучше включить в эксперимент небольшое количество посетителей;
Оповещение по email: включить или выключить.
Укажите адреса страниц, участвующих в тестировании, и нажмите «Далее».
Нажмите «Вставить код вручную» и скопируйте код.
Вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега <head>.

Если ваш сайт сделан на Tilda, то зайдите Настройки сайта > Еще > html код для вставки в head > Редактировать код. В открывшемся окне вставьте код, сохраните и опубликуйте сайт.
Вернитесь в аккаунт Google Analytics, нажмите «Далее». Включится проверка кода эксперимента. После того, как код будет найден, нажмите «Начать эксперимент». С этого момента весь трафик будет перенаправляться, в процентном соотношении, на исходную или другие варианты страниц.

Первые результаты a/b тестирования появятся через несколько суток после начала эксперимента. Чтобы следить за результатами а/б тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов: Google Analytics > Поведение > Эксперименты.
Чтобы данные были достоверными, a/b тестирование сайта должно проводиться по определенным правилам. Мы сформулировали последовательность из 10 шагов.
Часть вторая. Правила

10 этапов успешного а/б тестирования


Подумайте действительно ли вам нужно проводить а/б тестирование сайта. Сплит-тест — отличный инструмент, но он требует четко сформулированной гипотезы, стабильного и достаточно большого потока посетителей, регулярных конверсий (платежи, заявки, звонки) и налаженной системы аналитики. Если этого пока нет и интерес у вас скорее азартный: кто победит, то тестирование лучше не проводить совсем, не тратить время и силы.

Сформулируйте гипотезу. Гипотеза — это ваш фундамент. Просто сравнивать два варианта любопытно, но бессмысленно. Нужна четкая формулировка проблемы, а потом вероятного решения. Например: Количество регистраций можно увеличить, если добавить в заголовок слово «бесплатный». Это предположение может быть и правильным, и ошибочным — определит a/b тестирование.

В идеале гипотеза появляется в результате исследования: поговорите с клиентами — за что они любят ваш продукт, какую проблему он решает, проведите анализ запросов в службу поддержки: найдите болевые точки, посмотрите статистку: у каких страниц высокий процент выходов или аномально низкая конверсия, воспользуйтесь чудесным вебвизором — что люди вообще делают на вашем сайте, как они себя ведут.
Вебвизор записывает действия посетителей на вашем сайте и показывает их в формате видео.

Определитесь с целевым показателем — что в итоге будет критерием: показатель отказов (сколько человек зашли на страницу и тут же закрыли), время, проведенное на сайте, количество заявок или регистраций, количество покупок или средний чек.

Тут мы возвращаемся к началу: какую проблему нужно решить. Например, вы продаете онлайн-курс по основам правильного питания. Вы хотите увеличить продажи одной из трех программ и выделяете ее цветом.

Тогда при сравнении двух страниц критерием будут продажи именно этой программы. Неважно сколько времени посетители провели на странице, сколько из них отправило заявку, сколько купили другие программы или как изменилась выручка. Нет, нас интересует именно изменение продаж данного варианта.

Убедитесь, что у вас настроена статистика, которая это зафиксирует.

Выберите один элемент тестирования. Очень просто: вы проверяете или заголовок, или текст на кнопке, или картинку. Никогда одновременно. Если переменных очень много, вы не поймете что именно сработало, а значит а/б тестирование сайта станет развлечением, но не инструментом.
В целом, тестировать можно что угодно:
  1. Заголовок: содержание, расположение, внешний вид
  2. Подзаголовки и тексты
  3. Текст призыва к действию
  4. Кнопки и формы: цвета, расположение, текст
  5. Изображения: содержание, размер.
И так далее.

Определите выборку — заранее посчитайте сколько человек должны пройти через ваши страницы, чтобы результаты a/b тестирования были статистически значимы (то есть они не могли возникнуть случайно), и вы могли бы им доверять. Это число зависит от того, насколько сильные изменения вы ожидаете увидеть.

Посчитать количество посетителей можно с помощью онлайн-калькулятора, например: tools.driveback.ru
Если исходная конверсия была 10%, а минимальный видимый эффект 10%, то есть ожидается, что конверсия вырастет до 11% (10+10*0,10), то минимальное количество посетителей для теста должно быть 14400 человек (на каждой странице). Это число вам нужно для ориентира — когда можно будет остановить тест.

После того, как тест будет закончен, нужно будет проверить значимость результатов:
Если страницу просмотрело 10 000 и на одной странице зарегистрировалось 100 человек, а на другой 110, вторую страницу нельзя считать «победителем», так как результат не значим, он случаен.
Если при той же выборке на одной странице, например, зарегистировалось 1000 человек, а на другой 1100, то можно утверждать, что вторая страница действительно имеет более высокую конверсию и результат повторится с высокой вероятностью.

Подумайте будете ли вы показывать экспериментальную страницу всем посетителям или только части. Если показывать всем, то необходимое количество людей наберется быстрее. С другой стороны, если гипотеза окажется неверной, и новая страница будет иметь более низкую конверсию, будут потери.

Также обратите внимание на состав: новые посетители или постоянные. Есть вероятность, что среди постоянных посетителей эксперимент будет не чистый: когда люди уже привыкли к одному интерфейсу, то их реакция на изменения будет не такой, как у тех, кто видит его впервые.

Определите продолжительность a/b тестирования. Минимальное время — неделя, даже если вы набрали статистически значимое количество посетителей за полдня. Это связано с тем, что в разные дни недели поведение может очень сильно различаться.

Если целевой показатель у вас покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования 10-14 дней. В Google Experiments минимальное время тестирования по умолчанию — 14 дней. Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время.

Проверьте однородность аудитории. После запуска теста поток посетителей будет распределяться 50/50 и важно, чтобы эти две части были максимально однородными и похожими. То есть на конечный результат должен влиять только ваш эксперимент.

Чтобы проверить однородность, нужно сначала провести а/а тестирование — поделить трафик, но показывать абсолютно одинаковые страницы. Если конверсия одной и той же страницы будет отличаться, значит поток посетителей неоднородный и а/б тестирование делать бессмысленно.

Примите во внимание окружающую среду. Тестирование в конце декабря, в разгар летних отпусков или в момент резкого скачка курса доллара исказит результаты.

После запуска теста проверьте, что все работает. Если вдруг тест начал показывать аномально резкие отличия (на исходной странице конверсия 5%, а на тестируемой 0%), проверьте, что все кнопки и ссылки на странице рабочие. Не останавливайте эксперимент, пока не пройдет время, которое вы определили ранее и пока не наберется досаточное количество человек.

Повторное тестирование. По окончании теста проверьте статистическую значимость результатов. Но даже если данные достоверны, эксперимент продолжался достаточное количество времени и один из вариантов уверенно победил, провести тестирование еще раз — обычная и хорошая практика.
Часть третья. Примеры

Примеры а/б тестов

Результаты а/б тестирования невозможно тиражировать. Каким бы ни был успешным кейс, воспроизводить его в других условиях не имеет смысла. Тестирование все равно придется проводить свое, исходя из той проблемы, которую вы хотите решить, того исследования, которое вы провели и той гипотезы, которую вы сформулировали.

Но посмотреть примеры a/b тестирований полезно: поискать идеи и проверить интуицию, а заодно убедиться, что результаты могут быть абсолютно непредсказуемыми.

Visual Website Optimizer рассказывает как компания Server Density протестировала изменения цен и увеличила доход на 114%.

Server Density представляет услуги мониторинга серверов. Они решили изменить цены таким образом, чтобы увеличить общую выручку.

Гипотезы было две:
  1. Повышение цены сократит количество бесплатных регистраций
  2. Повышение цены увеличит выручку, несмотря на то, что регистраций станет меньше.
На сайте отслеживались и тестировались две цели:
  1. Бесплатная регистрация
  2. Покупка плана (upgrade)

Исходная страница выглядела так:
Цена на ней менялась, в зависимости от количества серверов и сайтов, которые нужно было мониторить. Было логично, что чем больше объектов обслуживалось, тем выше была общая стоимость.

Несмотря на то, что большинству клиентов требовалось обслуживание в среднем 7 серверов, им показывалась цена обслуживания одного сервера — $11+$2, в надежде, что небольшое число привлечет внимание и это увеличит базу клиентов.

Большинство клиентов жаловалось, что цена слишком высокая.

Несмотря на эти жалобы, Server Density решили протестировать новый пакет, где цена стартовала с $99.
Тут можно заметить, что 10 серверов и 10 сайтов по старым ценам стоили бы $130 в месяц, то есть они на самом деле снизили цену, но увеличили среднюю стоимость заказа.

Результат:
Бесплатные регистрации:
Исходная страница — 1950 посетителей, 135 регистраций, 6.92% конверсия
Тестируемая страница — 1925 посетителей, 100 регистраций, 5.19% конверсия
Результат: конверсия бесплатных регистраций уменьшились на 24.96%

Покупки плана:
Исходная страница — 1950 посетителей, 20 покупок, средний чек $19.70, общая выручка US$394
Тестируемая страница — 1925 посетителей, 15 покупок, средний чек $55.53, общая выручка $833
Результат: 114% увеличение общего дохода.

Ключевые находки теста:
— Цены — важный показатель правильности ваших рассуждений и чтобы в этом убедиться, нужно проводить тестирование на реальных данных.
— Большинству клиентов важнее какую ценность они получают, приобретая продукт, чем то, во сколько вам обходится его обслуживание.
— Вам следует устанавливать цены, исходя из того, какую пользу принесет продукт клиенту, а не какая у него себестоимость или какую прибыль вы хотите получить.
— Тестируйте постоянно — никогда точно не знаешь, где спрятались деньги.

Источник: https://vwo.com/blog/saas-pricing-ab-test/

Другие примеры можно также посмотреть на сайте, посвященному результатам а/б тестирования: Which Test Won.
Если материал вам понравился, расскажите о нем вашим друзьям. Спасибо!