Почему большинство сплит-тестов бесполезны?

Posted on by riasevastopol

Любой, имеющий отношение к интернет-маркетингу, знает, что такое сплит-тестирование. Но мы не знаем, либо же опасаемся признать, что через чур многие тесты не дают ничего. Довольно часто маркетологами тестируются тщетные варианты, дающие неоднозначные результаты, от анализа которых ничего не происходит.

Само собой разумеется, от некоторых опытов имеется измеримый эффект. Это те кейсы, о которых вы слышали — как раз они обрисованы в специальных блогах. Мы все видели статьи с заголовками наподобие «Компания Х повысила конверсию на 38% посредством этого несложного трюка».

Множество таких постов вы имеете возможность отыскать и в отечественном блоге. Но эти выдающиеся истории успеха маскируют глубокую яму тщетных экспериментов и испытаний.

  • С опаской! Сплит-тест — это иллюзия

Так из-за чего большая часть тестов ненужны?

Согласно данным агентства AppSumo, лишь 1 из 8 тестов дает итог. По оценкам Kaiser Fung, от 80 до 90% тестирований на выходе дают статистически незначительные результаты. Однако, все новые и новые маркетологи запускают сплит-тесты, ожидая скоро взять настоящий эффект.

Они считаюм, что по окончании нескольких циклов отыщут совершенный оттенок СТА-кнопки, и конверсия тут же увеличится на заветные 38%.Почему большинство сплит-тестов бесполезны? После этого запускаются тесты на мобильных сайтах либо приложениях, в этот самый момент действительность начинает подступать. Опробования становятся нескончаемыми, а результаты — или «статистически малыми», или попросту никакими. Что происходит?

Где же одобрение начальства и невероятный рост?

Не расстраивайтесь. Если вы занялись А/В-тестированием, то кое-какие из тестов не принесут никаких результатов. Но со временем вы станете видеть меньше неудач и больше успешных примеров. Осмысляя приобретённый опыт, вы получите значимые результаты и данные для настоящего улучшения продукта.

Но зависит ли это от качества тестов, либо же сам факт глубокого погружения в поведение и продукт пользователе открывает вам новые пути?

Все это формирует чувство, что вы учитесь новому из каждого очередного теста, что не совсем правильно. Но никто (либо практически никто) не садится писать пост в блог о сплит-тесте трех вариантов, не давшем значительных результатов. Это указывает, что статистически малых результатов не редкость достаточно, дабы сделать выводы из опыта.

По сути, вопрос сводится к тому, каков шанс взять тот же эффект, либо кроме того больший разброс в эффективности, в случае если между вариантами А и В по большому счету не будет отличия. Другими словами, мы уже говорим не столько об оптимизации конверсии, сколько о теории возможности.

Представьте, что вы подбрасываете две монеты, по 12 раз каждую. Монета А падает орлом все 12, а монета В — 9 раз. Заметив это, вы же не начнёте писать статьи о том, что нашли монету (либо разработку подбрасывания), повышающую на 33% конверсию в падение орлом? Из вашего опыта вы осознаете, что это легко случайность. Но представим, что вы хотите укрепить статистическую достоверность, и подбрасываете обе монеты уже по 180 раз.

А падает орлом 120, а В — 90 раз. Искушенный в сплит-тестах маркетолог сообщит, что результаты прошлого опробования уточнились, не смотря на то, что тенденция сохранилась — монета А действеннее. Но мы же знаем, что это лишь случай.

Имеете возможность подбрасывать монеты хоть по 2000 раз и шепетильно разбирать результаты, но любое различие в показателях — лишь «белый шум», не дающий настоящей информации.

Обрисованный пример может показаться глупым и некорректным. Для чего выставлять маркетологов дураками — так как все знают, что две монеты аналогичны, а с тестируемыми элементами не все так конкретно. Но неприятность в том, что пример достаточно корректен — так как как раз тут и кроется обстоятельство неоднозначных результатов большинства А/В-тестов.

Мы тратим собственный время на тестирование элементов, не имеющих значительных различий, и в следствии имеем дело с массивами статистически незначительной информации. И большинство вины лежит на множестве глупых экспериментов и кейсов с размерами и цветами СТА-кнопок.

Тестинг цвета кнопки — это первое слово маркетолога, сообщённое в мире сплит-тестирования. Другими словами, такие примеры превосходно растолковывают концепцию и разрешают «набить руку». Перед тем как разрабатывать вправду глубокие тесты, комфортно опробовать разработку, запустив опробование зеленой и красной кнопки «Приобрести».

Вы соберете эти и заметите, какой вариант лучше воздействует на конверсию.

Помимо этого, кое-какие компании вправду достигли выдающихся результатов через подобные опыты — был значительно улучшен продукт и оптимизирована конверсия. И само собой разумеется, если вы желаете, дабы пользователи деятельно взаимодействовали с элементом, его стоит грамотно выделить, заострять внимание на нем. Но однако, как правило тесты цвета кнопок редко конструктивны в плане настоящего улучшения продукта.

  • Сплит-недостатки заголовков: и тест преимущества

Кейс: как смена темы письма не привела ни к чему

Для иллюстрации принципа разглядим кейс одного тщетного теста от Mixpanel. Компания редко рассылает Email по главному странице подписчиков. В большинстве случаев рассылка ограничивается уведомлениями о новых статьях, и лишь по базе подписавшихся на блог.

Но по окончании значительного обновления платформы, затронувшего солидную часть пользователей, было решено дать email-рассылку по всей базе клиентов, а заодно совершить полномасштабный и стремительный сплит-тест.

Темой письма была выбрана следующая фраза: «Из-за чего 15 миллионов пользователей недостаточно хороши для этого пустякового мобильного приложения?». Но позднее маркетологи отыскали в памяти, что упоминание бренда в теме может расширить коэффициент открываемости. Тогда вторым вариантом стало: «Mixpanel — из-за чего 15 миллионов пользователей недостаточно хороши для этого пустякового мобильного приложения?».

Четко и светло, не правда ли? Если бы тесты продемонстрировали, что второй вариант действеннее, это выяснило бы последующие действия маркетологов. Точно они применяли бы имя бренда во всех рассылках и других рекламных активностях. Итак, рассылка была разослана сотням тысяч пользователей, поделённых на две группы. Но более статистически недостоверных результатов, чем было получено в итоге, попросту тяжело придумать. Вариант А (без заглавия бренда) — 22.75%.

Вариант В — 22.73%. Отличие составила немыслимые 0,02%.

Из сотен тысяч разосланных писем с обоими вариантами, первый был открыт приблизительно на 20 раз чаще. Взятой информации хватало лишь для одного решения — применять более важный подход к тестам.

  • Методика проведения сплит-тестирования

Что же не так?

Во-первых, маркетологи имели возможность усилить контраст между вариантами и протестировать совсем второй текст в теме письма. К примеру, «Из-за чего QuizUp был самой быстрорастущей игрой в истории социальных платформ?». Таковой контраст имел бы куда больше шансов на статистически значимые результаты. Но кроме того тогда, как применить полученные эти? О чем они говорят?

Быть может, по окончании последовательности более глубоких опробований, маркетологи узнали бы, какие конкретно темы больше нравятся получателям рассылки. Но так ли серьёзна эта информация в отрыве от глобальной стратегии? Этот тест был выстроен не хорошо, потому, что не являлся частью глобальной стратегии оптимизации маркетинговых пользовательского опыта и каналов читателей.

Другими словами, в случае если перед разработкой очередных сплит-тестов вы сформулируете пара глобальных целей, которым подчинена вся маркетинговая активность, то получить от опробований итог станет значительно несложнее. Разумеется, вы желаете повысить число читателей/подписчиков, расширить конверсию, средний чек, жизненный цикл клиента.

Но лишь если вы четко видите, как увеличение числа открытий рассылки связано с показателями среднего и конверсии чека, тогда сможете организовать все тесты, исходя из неспециализированных целей и одного пути. Казалось бы, это очевидные вещи — но многие забывают о них.

Хари Ананс (Hari Ananth), сооснователь стартапа Jobr, говорит о примере не столь тщетных сплит-тестов, совершённых с целью приобретения новых пользователей. Jobr — приложение для поиска работы, применяющее механизм Tinder. Другими словами, соискатель «свайпит» варианты, листая понравившиеся в одну сторону, а малоинтересные — в другую

«Мы желали расширить поток новых пользователей, для чего выяснили два наиболее значимых шага в собственной воронке и создали широкий перечень вариантов для каждого опыта, чтобы обеспечить достаточную достоверность. По окончании проверки всех вариантов на приемлемом количестве трафика, мы смогли оптимизировать поток и повысить конверсию на 225%».

  • 10 неточностей сплит-тестирования, каковые дорого вам обойдутся

Вместо заключения

Этот пример неслучайно был столь действенным и обошел все стандартные «подводные камни» сплит-тестов. Опыты были выстроены с целью проверки значимых качеств продукта, оказывающих сильное влияние на поведение пользователей. И само собой разумеется, у маркетологов хватало трафика, времени и основное — вариантов, для получения статистической достоверности.

Исходя из этого, если вы до сих пор недоумеваете, где ваш рост конверсии на 38% (а лучше, на 380%) по окончании смены цвета кнопки «Приобрести», то вот ответ. Израсходуйте время, дабы выстроить значимые сплит-тесты — и получите значимые результаты.

Высоких вам конверсий!

По данным: mixpanel.comImage source: unsplash.com

Случайные статьи:

Результаты фокус-групп, проведенных в 4 областях Украины, показали самые значимые проблемы городов


Подборка похожих статей:

riasevastopol

More Posts