Методология проведения сплит-тестирования

Posted on by riasevastopol

Сплит-тестирование есть, несомненно, одним из наиболее значимых инструментов оптимизации конверсии в работе интернет-маркетолога. Без оптимизации посадочной страницы по окончании ее запуска не обходится ни одна важная рекламная кампания, да это и нереально.

Но имеется публикации, открыто утверждающие, что результаты, каковые дают сплит-тесты — недостоверны, иллюзорны и надеются на волю случая. Но, как утверждает Уилл Курт (Will Kurt), один из авторов маркетингового блога SaaS платформы Kissmetrics, такая обстановка в полной мере обычна и имеет место быть.

«Чтобы выяснить, из-за чего так происходит, совершим опыт с монетками. Как вы понимаете, шансы того, что выпадет орел либо решка, неизменно равны 50%. Отечественная задача — узнать, в каком случае будет чаще выпадать орел: при подбрасывании монеты правой рукой либо левой. Подкидываем монетку 16 раз правой рукой и левой и приобретаем такие результаты:

Орел Решка Правая рука 11 5 Левая рука 5 11

Казалось бы, при подбрасывании монеты правой рукой орел выпадает чаще. Следовательно, если бы мы проводили сплит-тест, и изучаемой чёртом была подбрасывающая рука, то мы продолжили бы кидать монету правой рукой — так как она дает нам необходимый итог!Методология проведения сплит-тестирования Но в случае если принять к сведению, что мы фактически не воздействуем на то, какой стороной ляжет монета, то, по сути, на отечественный конечный выбор оказал влияние случай.

И в полной мере быть может, что внедрив более удачно продемонстрировавший себя на A/B-тесте вариант, мы окажемся свидетелями падения процента результативности всего проекта».

Дабы исключить влияние неподвластных нам статистических факторов, принципиально важно выполнять элементарные правила проведения сплит-теста.

  • Правополушарный либо левополушарный сплит-тест?

Правила проведения сплит-тестирования

Темперамент проведения сплит-теста близок к научному опыту, но только немногим интернет-маркетологам удается соответствовать столь высоким требованиям. Вся неприятность содержится в том, что эксперты, проводящие тест, не обожают ожидать и довольно часто вмешиваются в процесс опыта, что и это ведет к недостоверным итогам.

В действительности, хорошие установки для запуска сплит-теста следующие:

1. Выясните уровень минимальных трансформаций, что вы ожидаете взять (к примеру, коэффициент конверсии увеличится на 10%).

2. Установите размер выборочной совокупности целевой аудитории, нужной для верификации взятых результатов (выборочная совокупность – это число людей, принявших участие в тестировании). Для этого имеете возможность воспользоваться особым калькулятором, что размещен тут.

3. Запустите сплит-тест, но не разбирайте результаты до успехи определенного ранее размера выборочной совокупности.

4. Установите минимальный порог трансформаций, нужный для детерминации варианта как более действенного (в большинстве случаев 95% от значения, принятого на 1 шаге).

5. По окончании того, как вы соберёте достаточный размер выборочной совокупности, имеете возможность приступать к t-тесту (либо любому второму верификационному тесту), дабы выяснить превосходит ли значение достоверности результатов с принятым вами на 4 шаге минимальным порогом трансформаций.

6. В случае если результаты, полученные вами на 5 шаге, свидетельствуют в пользу одного из вариантов, внедряйте его срочно. В случае если же испытываемые варианты не принесли сколь-нибудь значимого результата, оставляйте все как имеется.

Отчего же маркетологи не делают вышеприведенных правил, поскольку, казалось бы, в них нет ничего сложного? Вся правда в том, что не смотря на то, что темперамент сплит-теста и близок к научному, сами маркетологи вовсе не ученые.

В случае если для ученого на первом месте стоит точность и правильность приобретаемых на протяжении проведения опыта результатов, то для маркетолога главным значением есть та прибыль, которая будет взята по окончании внедрения трансформаций на лендингах. Согласитесь, сплит-тест похож в основном на игру. У нас имеется пара десятков параметров, любой из которых требуется проверить, но управление всегда давит и требует конкретных результатов как возможно стремительнее.

В данной ситуации маркетологи тестируют лишь то, что может принести значительные трансформации. Для них серьёзен рост, и лишь в то время, когда они заметят, что соблюдение правил сплит-теста, приведет их к успеху, маркетологи начнут им направляться. Появляется вопрос: «Как их убедить в необходимости “научного подхода”?».

  • 12-шаговое тестирование landing page

2 модели проведения сплит-теста

Проводить сплит-тест возможно по-различному: кто-то будет придерживаться методологии, а кто-то будет торопить события и искажать конечные результаты. Дабы четче обрисовать существующую обстановку, приведем как пример две модели проведения сплит-теста, диаметрально противоположные друг другу.

Первая модель «Scientist» (с англ. — ученый) предполагает соблюдение всех правил, каковые мы изложили выше. На графике вы имеете возможность видеть результаты тестирования в соответствии с разглядываемой модели:

Исследователь, действующий по первой модели, совершает мало неточностей и имеет постоянный рост коэффициента конверсии. Он совершил всего 20 тестов, на протяжении которых улучшил показатель конверсии с 5 до 6,7%. Размер выборки составил 1 миллион человек.

Сейчас обратим внимание на вторую модель проведения теста, которая носит название «Impatient Marketer» (с англ. — нетерпеливый маркетолог).

Как вы видите, нетерпеливый маркетолог действует непоследовательно и другой раз кроме того хаотично. Он всегда проверяет приобретаемые эти, и когда они достигают 95% порога выборки, тут же останавливает тест. Его результаты больше напоминают американские горки, но полученные в итоге цифры не резко отличаются от того, на что вышел ученый, хоть и менее точны.

  • Опровержение 10 мифов о сплит-тестировании

Модель «The Realist»

Эта модель получается на стыке двух прошлых моделей, но от маркетолога тут не нужно скрупулезности и излишнего тревоги. «Реалист» совершенно верно равно как и «Нетерпеливый маркетолог», желает стремительных результатов, попутно стремясь избежать большинства неточностей и не направляться 6-ступенчатой методологии проведения сплит-теста. Дабы верить вкаждом успешном варианте сплит-теста, «Реалист» ожидает не 95%, а 99% порога трансформаций, но не проводит тест через чур продолжительно: ему достаточно и 2000 пользователей. Получается в итоге следующее:

Модель «Реалист» превзошла результаты, каковые были взяты в первой модели.

  • Мама-тест — разработка оптимизации конверсии лендинг пейдж

Заключение

Следовать правилам либо нет, решает любой для себя сам. Но методика разрешит вам максимально приблизится к правильным данным, внедрив каковые вы не станете пытаться решить вопрос , из-за чего коэффициент конверсии пополз вниз, а не вверх.

Иначе, медлительность и скрупулёзность в маркетинге не приветствуются. В этом случае некое изменение главных положений методики оправдано. Основное, поддавшись чувствам, не сделать ставку на проигрышный вариант, что в какой-то момент и продемонстрировал себя лидирующим.

Дабы избежать этого, применяйте калькулятор выборочной совокупности, что посоветует вам, как продолжительно тестировать тот либо другой элемент.

От себя добавим: размер выборочной совокупности, применяемый с целью достижения статистической достоверности сплит-тестов в вышеприведенных примерах, может оказаться недоступным для маркетологов, трудящихся со скромным рекламным бюджетом и низким входящим трафиком, при таких условиях возможно прибегнуть к дедуктивному способу тестирования.

Удач и высоких вам конверсий!

По данным blog.kissmetrics.com, image source Ian Sane

Случайные статьи:

Концепция построения процесса тестирования в Agile проектах: 3+1


Подборка похожих статей:

riasevastopol

More Posts