А/б тестирование сайта или лендинга — практическое руководство
Подробный гайд по запуску
А/б тестирование — это способ измерить эффективность страницы путем сравнения. Суть метода: вы создаете страницу А, копируете ее и меняете какой-то параметр, например, заголовок, кнопку, изображение (страница В). Затем половине посетителей вашего сайта показываете одну страницу, половине — другую и смотрите на какой из них цель (заказ, покупка, подписка) достигается чаще, то есть какая страница имеет более высокую конверсию.
Идея а/б тестирования выглядит соблазнительно — больше не нужно спорить о вкусах и взывать к авторитетам. Сухие цифры, статистика, гарантированный результат — все так просто. Все правда просто, но совсем не так. Чтобы провести a/b тестирование, которое даст корректные данные, нужно следовать правилам. Они строгие, но зато простые. Мы составили из них последовательность действий, получилось 10 шагов. Каждый прокомментировали и объяснили почему нужно делать именно так.
часть первая. Практика
Как настроить Google Optimize
В качестве основного инструмента мы рассматриваем Google Optimize, потому что это просто, удобно и бесплатно. Сервис работает в связке с Google Analytics, которым вы и так регулярно пользуетесь, ведь правда?
Перейдите на optimize.google.com и нажмите Создать аккаунт.
Перейдите на optimize.google.com и нажмите Создать аккаунт.
Затем Optimize предложит создать контейнер — в нем будут храниться ваши эксперименты. Чтобы вы легко находили среди них нужный, создавайте разные контейнеры для разных сайтов.
Переходим к экспериментам — в Optimize они называются проектами. Создайте первый проект, кликнув на кнопку Начать.
Заполняем поля:
— Название эксперимента;
— Адрес страницы, которую будем сравнивать с другими в A/B-тестировании;
— Тип проекта. Выберите Эксперимент с переадресацией.
Нажмите Создать.
— Название эксперимента;
— Адрес страницы, которую будем сравнивать с другими в A/B-тестировании;
— Тип проекта. Выберите Эксперимент с переадресацией.
Нажмите Создать.
Почему «Эксперименты с переадресацией», а не «А/B-тестирование»?
В эксперименте с переадресацией вы протестируете две и более разных страниц сайта. Их можно гибко настроить с помощью редактора и настроек Тильды.
Если выбрать способ «А/B-тестирование», то в эксперименте будет участвовать только одна страница. К ней вы можете добавить варианты, внести в них изменения через внутренний редактор Google. Редактор сильно ограничен в количестве функций, вы сможете изменить только базовые CSS-свойства элементов на странице.
Если выбрать способ «А/B-тестирование», то в эксперименте будет участвовать только одна страница. К ней вы можете добавить варианты, внести в них изменения через внутренний редактор Google. Редактор сильно ограничен в количестве функций, вы сможете изменить только базовые CSS-свойства элементов на странице.
По условиям эксперимента вам нужно две или больше страниц для сравнения. Создайте эти страницы в Тильде. Перейдите в настройки страницы и выберите Действия > Дублировать.
Кликните Перейти к новой странице и внесите изменения — подробнее о них мы поговорим во второй части. Опубликуйте страницу.
В Google Optimize нажмите Добавить вариант и заполните эти поля для каждой новой страницы:
— Название. Рекомендуем упоминать отличия между страницами — например, Лендинг с красной кнопкой и Лендинг с синей кнопкой;
— Результат переадресации. Укажите URL нужного варианта;
— Final URL — адрес страницы редиректа;
— Original URL — адрес страницы, на которую изначально пойдет трафик.
— Название. Рекомендуем упоминать отличия между страницами — например, Лендинг с красной кнопкой и Лендинг с синей кнопкой;
— Результат переадресации. Укажите URL нужного варианта;
— Final URL — адрес страницы редиректа;
— Original URL — адрес страницы, на которую изначально пойдет трафик.
Следующий шаг — свяжите аккаунты Google Analytics и Google Optimize. Для этого выберите в меню контейнера или проекта Установление связи с Google Analytics > Связь с ресурсом.
Из выпадающего списка выберите номер счетчика, который установлен на этом сайте, и нужное представление. Если представления не настроены, сервис предложит вам вариант Все данные по веб-сайту — используйте его.
Сервис предложит вам установить на сайт код. Скопируйте его и добавьте в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега <head>.
Если ваш сайт сделан на Tilda, то зайдите в Настройки страницы > Еще > html код для вставки в head > Редактировать код. В открывшемся окне вставьте код, сохраните и заново опубликуйте страницы.
Код можно добавить и через Настройки сайта — и тогда он будет выполняться на всех страницах. Это удобно, если вы хотите сравнивать несколько вариантов разных страниц. Однако так код, пусть и незначительно, замедляет загрузку сайта: поэтому лучше не устанавливать его там, где он не будет использоваться.
Следующий шаг — это выбрать цель эксперимента. У Google Optimize есть несколько стандартных целей: подсчет просмотра страниц, длительности сеанса, процента отказов. Также вы можете создать собственную цель, например, количество отправленных заявок. Для этого нужно настроить события на сайте — смотрите подробную инструкцию для Тильды.
После установки целей проведите диагностику работы, нажав на ссылку «Выполнить диагностику». Вам может понадобиться расширение Google Optimize, которое система предложит установить.
Если вы правильно установили код и опубликовали все нужные страницы, то система сообщит об успехе.
Если вы правильно установили код и опубликовали все нужные страницы, то система сообщит об успехе.
После успешной проверки сверху появится сообщение, что проект готов к запуску. Запустите тестирование, нажав на кнопку «ОК». Теперь весь трафик будет перенаправляться на варианты страниц в процентном соотношении — вы можете его самостоятельно отрегулировать.
При переходе на страницу с тестом ваши пользователи могут увидеть перед редиректом оригинальную версию страницы — этот эффект называют мерцанием. Это связано с тем, что страница грузится одновременно с началом работы кода Google Optimize.
У Google Optimize для этого случая есть код, который скрывает страницу до начала работы тестирования. В нем нужно заменить GTM-XXXXXX на идентификатор контейнера оптимизации. Этот идентификатор можно найти на главной странице Google Optimize.
У Google Optimize для этого случая есть код, который скрывает страницу до начала работы тестирования. В нем нужно заменить GTM-XXXXXX на идентификатор контейнера оптимизации. Этот идентификатор можно найти на главной странице Google Optimize.
<style>.async-hide { opacity: 0 !important} </style>
<script>(function(a,s,y,n,c,h,i,d,e){s.className+=' '+y;h.start=1*new Date;
h.end=i=function(){s.className=s.className.replace(RegExp(' ?'+y),'')};
(a[n]=a[n]||[]).hide=h;setTimeout(function(){i();h.end=null},c);h.timeout=c;
})(window,document.documentElement,'async-hide','dataLayer',4000,
{'GTM-XXXXXX':true});</script>Скопируйте измененный код и добавьте в Настройки страницы → Дополнительно → Вставка кода в Head. Сохраните и переопубликуйте страницу.
Первые результаты тестирования появятся через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, перейдите на вкладку Отчеты. Здесь можно будет посмотреть основные результаты или перейти в подробный отчет в Google Analytics.
Чтобы данные были достоверными, a/b тестирование сайта должно проводиться по определенным правилам. Мы сформулировали последовательность из 10 шагов.
Часть вторая. Правила
10 этапов успешного а/б тестирования
Подумайте действительно ли вам нужно проводить а/б тестирование сайта. Сплит-тест — отличный инструмент, но он требует четко сформулированной гипотезы, стабильного и достаточно большого потока посетителей, регулярных конверсий (платежи, заявки, звонки) и налаженной системы аналитики. Если этого пока нет и интерес у вас скорее азартный: кто победит, то тестирование лучше не проводить совсем, не тратить время и силы.
Сформулируйте гипотезу. Гипотеза — это ваш фундамент. Просто сравнивать два варианта любопытно, но бессмысленно. Нужна четкая формулировка проблемы, а потом вероятного решения. Например: Количество регистраций можно увеличить, если добавить в заголовок слово «бесплатный». Это предположение может быть и правильным, и ошибочным — определит a/b тестирование.
В идеале гипотеза появляется в результате исследования: поговорите с клиентами — за что они любят ваш продукт, какую проблему он решает, проведите анализ запросов в службу поддержки: найдите болевые точки, посмотрите статистку: у каких страниц высокий процент выходов или аномально низкая конверсия, воспользуйтесь чудесным вебвизором — что люди вообще делают на вашем сайте, как они себя ведут.
В идеале гипотеза появляется в результате исследования: поговорите с клиентами — за что они любят ваш продукт, какую проблему он решает, проведите анализ запросов в службу поддержки: найдите болевые точки, посмотрите статистку: у каких страниц высокий процент выходов или аномально низкая конверсия, воспользуйтесь чудесным вебвизором — что люди вообще делают на вашем сайте, как они себя ведут.
Вебвизор записывает действия посетителей на вашем сайте и показывает их в формате видео.
Определитесь с целевым показателем — что в итоге будет критерием: показатель отказов (сколько человек зашли на страницу и тут же закрыли), время, проведенное на сайте, количество заявок или регистраций, количество покупок или средний чек.
Тут мы возвращаемся к началу: какую проблему нужно решить. Например, вы продаете онлайн-курс по основам правильного питания. Вы хотите увеличить продажи одной из трех программ и выделяете ее цветом.
Тогда при сравнении двух страниц критерием будут продажи именно этой программы. Неважно сколько времени посетители провели на странице, сколько из них отправило заявку, сколько купили другие программы или как изменилась выручка. Нет, нас интересует именно изменение продаж данного варианта.
Убедитесь, что у вас настроена статистика, которая это зафиксирует.
Тут мы возвращаемся к началу: какую проблему нужно решить. Например, вы продаете онлайн-курс по основам правильного питания. Вы хотите увеличить продажи одной из трех программ и выделяете ее цветом.
Тогда при сравнении двух страниц критерием будут продажи именно этой программы. Неважно сколько времени посетители провели на странице, сколько из них отправило заявку, сколько купили другие программы или как изменилась выручка. Нет, нас интересует именно изменение продаж данного варианта.
Убедитесь, что у вас настроена статистика, которая это зафиксирует.
Выберите один элемент тестирования. Очень просто: вы проверяете или заголовок, или текст на кнопке, или картинку. Никогда одновременно. Если переменных очень много, вы не поймете что именно сработало, а значит а/б тестирование сайта станет развлечением, но не инструментом.
В целом, тестировать можно что угодно:
- Заголовок: содержание, расположение, внешний вид
- Подзаголовки и тексты
- Текст призыва к действию
- Кнопки и формы: цвета, расположение, текст
- Изображения: содержание, размер.
Определите выборку — заранее посчитайте сколько человек должны пройти через ваши страницы, чтобы результаты a/b тестирования были статистически значимы (то есть они не могли возникнуть случайно), и вы могли бы им доверять. Это число зависит от того, насколько сильные изменения вы ожидаете увидеть.
Посчитать количество посетителей можно с помощью онлайн-калькулятора, например: tools.driveback.ru
Посчитать количество посетителей можно с помощью онлайн-калькулятора, например: tools.driveback.ru
Если исходная конверсия была 10%, а минимальный видимый эффект 10%, то есть ожидается, что конверсия вырастет до 11% (10+10*0,10), то минимальное количество посетителей для теста должно быть 14400 человек (на каждой странице). Это число вам нужно для ориентира — когда можно будет остановить тест.
После того, как тест будет закончен, нужно будет проверить значимость результатов:
После того, как тест будет закончен, нужно будет проверить значимость результатов:
Если страницу просмотрело 10 000 и на одной странице зарегистрировалось 100 человек, а на другой 110, вторую страницу нельзя считать «победителем», так как результат не значим, он случаен.
Если при той же выборке на одной странице, например, зарегистировалось 1000 человек, а на другой 1100, то можно утверждать, что вторая страница действительно имеет более высокую конверсию и результат повторится с высокой вероятностью.
Подумайте будете ли вы показывать экспериментальную страницу всем посетителям или только части. Если показывать всем, то необходимое количество людей наберется быстрее. С другой стороны, если гипотеза окажется неверной, и новая страница будет иметь более низкую конверсию, будут потери.
Также обратите внимание на состав: новые посетители или постоянные. Есть вероятность, что среди постоянных посетителей эксперимент будет не чистый: когда люди уже привыкли к одному интерфейсу, то их реакция на изменения будет не такой, как у тех, кто видит его впервые.
Подумайте будете ли вы показывать экспериментальную страницу всем посетителям или только части. Если показывать всем, то необходимое количество людей наберется быстрее. С другой стороны, если гипотеза окажется неверной, и новая страница будет иметь более низкую конверсию, будут потери.
Также обратите внимание на состав: новые посетители или постоянные. Есть вероятность, что среди постоянных посетителей эксперимент будет не чистый: когда люди уже привыкли к одному интерфейсу, то их реакция на изменения будет не такой, как у тех, кто видит его впервые.
Определите продолжительность a/b тестирования. Минимальное время — неделя, даже если вы набрали статистически значимое количество посетителей за полдня. Это связано с тем, что в разные дни недели поведение может очень сильно различаться.
Если целевой показатель у вас покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования 10-14 дней. В Google Experiments минимальное время тестирования по умолчанию — 14 дней. Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время.
Если целевой показатель у вас покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования 10-14 дней. В Google Experiments минимальное время тестирования по умолчанию — 14 дней. Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время.
Проверьте однородность аудитории. После запуска теста поток посетителей будет распределяться 50/50 и важно, чтобы эти две части были максимально однородными и похожими. То есть на конечный результат должен влиять только ваш эксперимент.
Чтобы проверить однородность, нужно сначала провести а/а тестирование — поделить трафик, но показывать абсолютно одинаковые страницы. Если конверсия одной и той же страницы будет отличаться, значит поток посетителей неоднородный и а/б тестирование делать бессмысленно.
Чтобы проверить однородность, нужно сначала провести а/а тестирование — поделить трафик, но показывать абсолютно одинаковые страницы. Если конверсия одной и той же страницы будет отличаться, значит поток посетителей неоднородный и а/б тестирование делать бессмысленно.
Примите во внимание окружающую среду. Тестирование в конце декабря, в разгар летних отпусков или в момент резкого скачка курса доллара исказит результаты.
После запуска теста проверьте, что все работает. Если вдруг тест начал показывать аномально резкие отличия (на исходной странице конверсия 5%, а на тестируемой 0%), проверьте, что все кнопки и ссылки на странице рабочие. Не останавливайте эксперимент, пока не пройдет время, которое вы определили ранее и пока не наберется достаточное количество человек.
Повторное тестирование. По окончании теста проверьте статистическую значимость результатов. Но даже если данные достоверны, эксперимент продолжался достаточное количество времени и один из вариантов уверенно победил, провести тестирование еще раз — обычная и хорошая практика.
Часть третья. Примеры
Примеры а/б тестов
Результаты а/б тестирования невозможно тиражировать. Каким бы ни был успешным кейс, воспроизводить его в других условиях не имеет смысла. Тестирование все равно придется проводить свое, исходя из той проблемы, которую вы хотите решить, того исследования, которое вы провели и той гипотезы, которую вы сформулировали.
Но посмотреть примеры a/b тестирований полезно: поискать идеи и проверить интуицию, а заодно убедиться, что результаты могут быть абсолютно непредсказуемыми.
Visual Website Optimizer рассказывает как компания Server Density протестировала изменения цен и увеличила доход на 114%.
Server Density представляет услуги мониторинга серверов. Они решили изменить цены таким образом, чтобы увеличить общую выручку.
Гипотезы было две:
Исходная страница выглядела так:
Но посмотреть примеры a/b тестирований полезно: поискать идеи и проверить интуицию, а заодно убедиться, что результаты могут быть абсолютно непредсказуемыми.
Visual Website Optimizer рассказывает как компания Server Density протестировала изменения цен и увеличила доход на 114%.
Server Density представляет услуги мониторинга серверов. Они решили изменить цены таким образом, чтобы увеличить общую выручку.
Гипотезы было две:
- Повышение цены сократит количество бесплатных регистраций
- Повышение цены увеличит выручку, несмотря на то, что регистраций станет меньше.
- Бесплатная регистрация
- Покупка плана (upgrade)
Исходная страница выглядела так:
Цена на ней менялась в зависимости от количества серверов и сайтов, которые нужно было мониторить. Было логично, что чем больше объектов обслуживалось, тем выше была общая стоимость.
Несмотря на то, что большинству клиентов требовалось обслуживание в среднем 7 серверов, им показывалась цена обслуживания одного сервера — $11+$2, в надежде, что небольшое число привлечет внимание и это увеличит базу клиентов.
Большинство клиентов жаловалось, что цена слишком высокая.
Несмотря на эти жалобы, Server Density решили протестировать новый пакет, где цена стартовала с $99.
Несмотря на то, что большинству клиентов требовалось обслуживание в среднем 7 серверов, им показывалась цена обслуживания одного сервера — $11+$2, в надежде, что небольшое число привлечет внимание и это увеличит базу клиентов.
Большинство клиентов жаловалось, что цена слишком высокая.
Несмотря на эти жалобы, Server Density решили протестировать новый пакет, где цена стартовала с $99.
Тут можно заметить, что 10 серверов и 10 сайтов по старым ценам стоили бы $130 в месяц, то есть они на самом деле снизили цену, но увеличили среднюю стоимость заказа.
Результат:
Результат:
Бесплатные регистрации:
Исходная страница — 1950 посетителей, 135 регистраций, 6.92% конверсия
Тестируемая страница — 1925 посетителей, 100 регистраций, 5.19% конверсия
Результат: конверсия бесплатных регистраций уменьшились на 24.96%
Покупки плана:
Исходная страница — 1950 посетителей, 20 покупок, средний чек $19.70, общая выручка US$394
Тестируемая страница — 1925 посетителей, 15 покупок, средний чек $55.53, общая выручка $833
Результат: 114% увеличение общего дохода.
Ключевые находки теста:
— Цены — важный показатель правильности ваших рассуждений и чтобы в этом убедиться, нужно проводить тестирование на реальных данных.
— Большинству клиентов важнее какую ценность они получают, приобретая продукт, чем то, во сколько вам обходится его обслуживание.
— Вам следует устанавливать цены, исходя из того, какую пользу принесет продукт клиенту, а не какая у него себестоимость или какую прибыль вы хотите получить.
— Тестируйте постоянно — никогда точно не знаешь, где спрятались деньги.
Источник: https://vwo.com/blog/saas-pricing-ab-test/
Исходная страница — 1950 посетителей, 135 регистраций, 6.92% конверсия
Тестируемая страница — 1925 посетителей, 100 регистраций, 5.19% конверсия
Результат: конверсия бесплатных регистраций уменьшились на 24.96%
Покупки плана:
Исходная страница — 1950 посетителей, 20 покупок, средний чек $19.70, общая выручка US$394
Тестируемая страница — 1925 посетителей, 15 покупок, средний чек $55.53, общая выручка $833
Результат: 114% увеличение общего дохода.
Ключевые находки теста:
— Цены — важный показатель правильности ваших рассуждений и чтобы в этом убедиться, нужно проводить тестирование на реальных данных.
— Большинству клиентов важнее какую ценность они получают, приобретая продукт, чем то, во сколько вам обходится его обслуживание.
— Вам следует устанавливать цены, исходя из того, какую пользу принесет продукт клиенту, а не какая у него себестоимость или какую прибыль вы хотите получить.
— Тестируйте постоянно — никогда точно не знаешь, где спрятались деньги.
Источник: https://vwo.com/blog/saas-pricing-ab-test/
Если материал вам понравился, расскажите о нем вашим друзьям. Спасибо!
Читайте также:
