Это очень трудно с точки зрения подготовки и измерения.
Даже если не брать А/В-тестирование, а разобрать «простой» пример, когда вы просто хотите добавить еще один рекламный баннер себе на сайт и измерить изменения в показателях.
Вы его добавили, и он стал приносить деньги. Что стало с другими баннерами и их конверсией? Вы стали больше получать денег? Через месяц вы можете выяснить, что другие баннеры просели и вы глобально уронили свой доход. А может это было связано с тем, что у вас изменились поставщики трафика и он стал другого качества? Нужно хорошо разобраться в возможных внешних причинах.
Тем более, что это означает что у вас должна быть очень круто настроена аналитика. Мы в своем проекте помимо Google Analytics и Яндекс. Метрики еще использовали серверную самописную аналитику и выгружали сырые данные в Excel для ручного подсчета. Как мне известно, крупные e-commerce проекты живут примерно так же (когда-то читал про аналитику lamoda). Они измеряют все в нескольких системах, так как они считают по-разному и дают разную погрешность. У одного и того же сайта данные посещений по ЯМ и GA могут сильно отличаться. По-настоящему сложные задачи эти системы решать не умеют.
А может так получиться, что с новым баннером вы за месяц заработаете чуть больше. Но в баннере ли дело? Может это сезонность сыграла или PR-компания в соц. сети? Пока вы тестируете, компания живет и развивается, очень трудно найти «чистый» месяц, который был бы без влияния маркетинга, портящего эксперимент.
А еще может получиться так, что кликать на баннер стали больше и ваш доход вырос, но ядро аудитории стало больше «раздражаться» и ее возвращаемость (или ретеншен) стал падать. То есть, через несколько месяцев вы потеряете аудиторию и, опять же, на круг заработаете меньше.
К чему я веду? К тому, что чисто статистически, учесть все причины и правильно измерить результат изменения очень трудно. Методологически (и математически) правильно считать естественную погрешность показателей, и если изменение дает рост больше погрешности — то это повод все перепроверить и убедиться, что у вас через квартал не упадут показатели.
Естественное колебание показателей может достигать 10%-20%, так что если вы поставили баннер и получили рост или падение прибыли на 5% — это ничего не значит.
А/В-тестирование — это очень затратно с точки зрения времени и денег.
А давайте одновременно показывать разные варианты разным людям, тогда мы не будем зависеть от изменчивости трафика, исключим сезонность и маркетинг?
Отличная идея. Казалось бы.
Если у проекта есть какая-то история и high-load, то есть настроено кэширование, разные сервера для контента и еще много всяких радостей, то вряд ли этот проект изначально затачивался на разветление продакшена. То есть архитектурно, проект не готов к тесту. Это значит что если вы придете к backend-программисту и скажете: «Коля, а давай мы 8% аудитории будем показывать вот эту верстку, причем они еще могут регистрироваться, нам нужно дать им отдельные куки, редиректы и все такое» — он озадачится.
Ваш первый А/В-тест будет полон технических сюрпризов и веселых моментов, особенно, если что-то отвалится, и вы перемешаете аудиторию. Конечно, в идеальных проектах такого нет, но в реальности встречается постоянно.
Когда вы с этим справитесь и даже потестируете что-нибудь, вы поймете что небольшие изменения дают небольшой результат. То есть если я на кнопке сделаю скругление краев и поменяю цвет с синего на зеленый — большинство пользователей или не заметят этого или вообще не обратят внимание, так как пришли в первый раз. Если вы хотите нормальный результат — делайте «крупные» изменения. Если у вас было 12 полей ввода для регистрации, а осталось 4 — то это существенное изменение. Только вот, если можете обойтись 4мя полями — это очевидно лучше и даст большую, для этого не нужен А/В-тест или дорогой UX-специалист.
Когда мне клиенты говорят что хотят А/В-тесты и это супер модно и круто, я им говорю что мы можем, только стоимость дизайна и верстки вырастет для них в полтора раза. А что? Вы же хотите 2 макета вместо одного. Выхлоп очень сомнительный по сравнению с затратами.
Другими словами, если вы просто сделали нормальный дизайн, продумали сценарий использования, посидели над текстами, нарисовали приятную графику — вы уже достигли «90% эффективности». Достичь оставшиеся 10% за счет интерфейсных улучшений очень и очень непросто.
Другие действия дают больше пользы.
Окончательным гвоздем в крышку А/В-тестирования является тот интересный факт, что вам проще поменять рекламодателя, провести конкурс в соц. сети, купить трафик в другом месте, оптимизировать кампанию в директе, запилить новую фичу в продукте или поправить баги — в общем заняться чем-то полезным, не трогая сайт. По себестоимости времени и денег вы окупите свои действия с большей эффективностью, чем занимаясь А/В тестами.
Почему тогда А/В-тесты так популярны?
Я думаю, потому, что крупные компании (Яндекс, Mail.Ru или Касперский) их используют и постоянно их пиарят. Для них они необходимы, так как эти компании уже попробовали все для своих продуктов и они «выжимают» камень в поисках крупиц пользы. У них есть на это ресурсы, деньги и желание.
Вот Яндекс. Музыка использует eye-tracking — целый набор инструментов, которые изучают куда смотрит глаз человека во время использования мобильного приложения. Да, штука полезная, когда у тебя есть бюджет. Не рекомендовать же это всем?
Отсюда вывод про кнопки и интерфейсы — делайте просто аккуратно, удобно и со вкусом. Этого будет достаточно. Если ваш продукт так себе, ни один интерфейс не исправит ситуацию.
Основа продажи — хороший продукт и здоровая коммуникация.