Сплит-тест — хороший метод выяснить, какой из вариантов маркетингового сообщения (либо элемента лендинга) действеннее для увеличения конверсии, доходов и объёмов продаж. Вы, возможно, уже давно используете данный способ, но все же для полного понимания взятых результатов вам может потребоваться помощь.
Цель сегодняшней статьи — растолковать механику, сущность сплит-тестирования, не прибегая наряду с этим к уравнениям и сложным техническим выкладкам. Ок, практически не прибегая 🙂
Результаты сплит-тестов в большинстве случаев выражаются в причудливых статистических, формулах и математических терминах, но сущность, скрытая за цифрами, не так сложна. Грубо говоря, залог успеха тестов — познание ключевых принципов. А специализированный софт и калькуляторы сделают все другое.
- Сплит-недостатки заголовков: и тест преимущества
статистическая достоверность и Выборочное исследование
Первой концепцией к дискуссии станет сбор данных и размер выборки. Познание настоящей пользы совершённых тестов приходит лишь по окончании определенного числа тестирований — либо успехи оптимального размера выборки. Коэффициенты конверсии каждого конкретного теста — это один пример, как составляющая выборки.
А выборкой именуется сам процесс сбора данных по опробованиям.
Предположим, вы обладаете маленьким рестораном стремительного питания, и вам необходимо знать, предпочитают визитёры картофель фри либо же луковые кольца. Это нужно чтобы приблизительно знать количества заказов на следующий месяц, и выстроить адекватную схему закупок.
Сейчас предположим, что вы решили опросить на данный счет случайных горожан, в котором будет расположен ресторан. Вы собрали мнения трех прохожих, двое из которых предпочитают лук. Этого достаточно, дабы сделать заказ на следующий месяц, две трети которого составят луковые кольца? Возможно, нет.
Но если вы соберете больше измерений (либо образцов), результаты статистики стабилизируются и приблизятся к настоящим предпочтениям потенциальной аудитории. Так вы достигнете статистической достоверности. Причем, это относится как к маркетинговой стратегии онлайн-бизнеса, так и к ресторану фаст-фуда.
Цель пребывает в том, дабы убедиться, что вы собрали достаточно данных и имеете возможность с уверенностью делать измерения и прогнозы, основываясь на примерах. В случае если сказать о математике, то существует достаточно инструментов и способов определения нужного размера выборки. К примеру, возможно применять бесплатное ответ evanmiller.org.
- Из-за чего большая часть сплит-тестов ненужны?
Доверительные промежутки
В полной мере возможно, что вам знакомо понятие «доверительный промежуток», высказывающее меру надежности оценки. Записывается промежуток, в большинстве случаев, в подобном виде: «20.0% ± 2.0%».
Продолжим отечественный пример с фаст-фудом. Вы совершили тест картофеля фри и луковых колец, с достаточным для обеспечения статистической значимости числом опрошенных. Вы воспользовались одним из надежных программных инструментов и уверены, что эти верны.
Обратим внимание, что сегментация опрошенных по прочим аспектам и демографии кроме этого серьёзна, но данный вопрос до тех пор пока опустим для простоты.
Предположим, результаты продемонстрировали, что 20% опрошенных предпочитает луковые кольца. Сейчас обратите внимание на вторую часть доверительного промежутка — ± 2.0%. Это предел погрешности, показывающий на верхние и нижние границы промежутка.
Так, мы можем заключить, что от 18 до 22% людей предпочитают картофелю фри луковые кольца. Чем меньше погрешность, тем более уверенными мы можем быть на предмет результатов теста.
Учитывая, что мы опросили достаточное количество людей, забрав приемлемый размер выборки, мы можем высказать предположение, что в целой стране приблизительно 95% ответов в пользу колец лука будут лежать где то в промежутке от 18 до 22%. Либо, иначе говоря мы можем быть уверены, что от 18 до 22% обитателей страны — любители луковых колец.
Исходя из этого, в случае если нам нужно организовать заказ на следующий месяц, мы будем заказывать 22% луковых колец, и 78% картофеля фри. При таких условиях очень маловероятно, что запасы будут исчерпаны за расчетный период.
- 5 несложных идей для сплит-тестов
Доверительные промежутки в сплит-тестах
В сплит-тестах лендингов делаются подобные заключения, имеется только один момент — мы должны сравнивать доверительные промежутки от тестирования всех вариантов (А, В и пр.), чтобы прийти к содержательному выводу о итогах.
Сейчас обратимся к второму примеру. Предположим, что мы размещаем на лендинге новую кнопку «Приобрести на данный момент» и сохраняем надежду, что это повысит конверсию. Мы проводим сплит-тесты, где прошлая кнопка — вариант А, а новый элемент — В. По окончании анализа данных через специальное ПО, доверительные промежутки составляют 10.0% ± 1.5% для контрольной версии, и 20,0% ± 2,5% для варианта В.
Высказывая результаты в формате диапазона, мы возьмём следующую возможность: будут преобразованы 8.5-11.5% визитёров контрольной версии, и 17.5-22.5% визитёров версии В. Кроме того в случае если любой доверительный промежуток разглядывать в качестве диапазона, то они очевидно не перекрываются.
"Наверное," новый вариант кнопки «Приобрести на данный момент» существенно повысил конверсию! Само собой разумеется, лишь при условии соответствующего размера выборки.
- 5 обстоятельств проводить отдельные сплит-тесты для различных типов устройств
Как велика отличие?
В приведенном выше примере вариант B продемонстрировал явное улучшение, но как? Давайте забудем на 60 секунд о понятиях доверительного интервала и предела погрешности, и просто взглянем на средние показатели конверсии по каждому тесту.
Вариант А продемонстрировал конверсию в 10%, тогда как вариант В — 20%. Простое вычитание говорит о том, что вторая версия «побила» первую на 10%. Эта цифра думается достаточно большой, но она вводит в заблуждение — так как мы сопоставляем лишь полную отличие между двумя цифрами.
Но вправду ответственна отличие между этими показателями в сравнении со скоростью трансформации коэффициентов (control variation rate).
Так, в случае если отличие в итогах тестов составила 10%, а скорость трансформации коэффициентов — также 10%, то нам направляться забрать соотношение — другими словами, поделить отличие между показателями конверсии обоих вариантов на скорость трансформации коэффициентов. И мы возьмём следующее: 10% / 10% = 1.0 = 100%.
Иначе говоря посредством новой СТА-кнопки конверсия была увеличена на 100%, либо, практически, удвоена. В конечном итоге, более подробный анализ разрешённых позволяет увидеть что-то большее. Доверительный промежуток теста А образовывает 13.84 ± 0.22%, а тот же показатель теста В — 15.02 ± 0.27%.
Сделав элементарное сравнение результатов, приобретаем: 15.02% – 13.84% = 1.18%. Это процентное повышение числа конверсий тестовой версии. Но дабы узнать, как выросла конверсия по отношению к контрольному варианту, поделим отличие на показатель версии А: 1.18% / 13.84% = 8.5%.
Итак, в конечном итоге конверсия выросла на 8.5% (по отношению к итогам контрольного теста), не смотря на то, что прирост в полном исчислении составил всего 1.18%. Другими словами, было получено достаточно весомое улучшение. Повысить конверсию практически на 10% — хороший итог, правильно? Исходя из этого стоит иметь ввиду, что проценты, в большинстве случаев, более правильны в подсчете результатов, чем безотносительные значения.
Увеличение на 8,5% звучит лучше, чем рост на 1.18% в полных значениях.
- 5 обстановок, в то время, когда сплит-тестирование легко нужно для роста вашего бизнеса
Перекрытие конфиденциальных промежутков
Не считая всего другого, стоит смотреть за тем, как перекрываются области конфиденциальных промежутков. Предположим, что тест А имеет доверительный промежуток 10-20% для коэффициентов конверсии, а тест В — 15-25%. Само собой разумеется, цифры условны и далеки от действительности — они просто иллюстрируют концепцию самый наглядным образом.
Обратите внимание, что перекрытие двух вышеуказанных промежутков образовывает 5%, и оно находится в пределах 15-20%. Учитывая это, сложно утверждать, что вариант В продемонстрировал большое улучшение. Объяснением может служить то, что или тесты вариантов не взяли статистической достоверности, или было собрано не хватает измерений (образцов).
Если вы пользовались специальным софтом для определения размеров выборки и уверены, что собрали нужные измерения, то имеете возможность пересмотреть тестовую версию (вариант В) и попытаться что-то второе, могущее оказать более большое влияние на конверсию. В совершенстве, вы придете к доверительному промежутку, что не пересекается с промежутком контрольного теста.
- Как совершить сплит-тест лендинга при низком трафике?
Вместо заключения
Сплит-тест — эта техника, базирующаяся на анализе данных. Однако, не требуется быть опытным математиком либо экспертом в статистике, чтобы выяснить взаимосвязи и основные концепции между взятыми цифрами. Само собой разумеется, вы имеете возможность изучить специальные уравнения, применяемые для расчета статистических данных и показателей вашего теста.
Но вы, возможно, значительно больше озабочены тем, что означают эти цифры для вашего бизнеса, уровня и дохода продаж, и как применять эти для оптимизации маркетинговой стратегии либо продукта.
Сейчас мы обсудили множество статистических терминов и понятий, связанных со сплит-тестированием — причем, кое-какие из взятых измерений, как вы имели возможность видеть, конкретно воздействуют на успех бизнеса. Учитывая эти сведенья, обеспечьте будущие сплит-тесты достаточным уровнем статистической достоверности — дабы с уверенностью применять полученные результаты в принятии ответственных ответов.
Высоких вам конверсий!
По данным: blog.kissmetrics.comImage source: Sathis Ragavendran