Гид по оптимизации конверсии: 10 статистических «ловушек» сплит-тестирования

Posted on by riasevastopol

Кроме того шепетильно спланированные сплит-тесты смогут давать статистически неверные результаты. «Ловушка» может поджидать вас на любом этапе тестирования , если используются некорректные подходы к анализу данных.

В данной статье обрисованы 10 наиболее значимых неточностей и статистических ошибок, о которых направляться не забывать. Кроме этого вы отыщете пара практических советов, каковые окажут помощь вам быть уверенными в том, что результаты теста корректны.

  • Сплит-тест как лучший способ оптимизации конверсии

Часть 1: «Ловушки», поджидающие вас перед проведением тестирования

№1: Через чур много вариантов

Тестирование громадного количества вариантов – не весьма хорошая выдумка. Процесс оптимизации неизменно должен быть основан на каком-либо предположении. Тестирование случайных вариантов ни к чему не приведет.

Второй проблемой есть валидность: чем больше вариантов вы тестируете, тем выше возможность, что один из них станет абсолютным «победителем», не смотря на то, что в действительности эта опция не будет наилучшим выбором.

Каждое сплит-тестирование подразумевает под собой определенную возможность неточности. Это связано с тем, что для теста берется не вся клиентская база либо целевая аудитория, а только определенная выборка.Гид по оптимизации конверсии: 10 статистических «ловушек» сплит-тестирования Это и ведет к маленьким неточностям в конечных итогах.

Задачей тестирования, однако, есть перенос взятых результатов на оставшуюся часть целевой аудитории. Эта обстановка наглядно показана на рисунке ниже:

Клиентская база – Выборка – Тестирование (Вариант А и Вариант В) – Перенос результатов на другую часть клиентов

Так, результаты тестирования должны быть перенесены на всю целевую аудиторию, дабы сделать неспециализированный вывод. Но, как уже было написано выше, любой тест предполагает некоторый процент вероятных неточностей. В большинстве случаев он образовывает около 5%. Но таковой показатель получается, лишь в случае если тестируется один вариант.

При мультивариантного тестирования процент неточности будет, соответственно, выше. Ниже представлена диаграмма, отображающая зависимость возможности происхождения неточностей от количества тестируемых вариантов:

Так, возможно сделать вывод о том, что чем больше вариантов вы станете тестировать, тем выше риск принятия неверного ответа.

  • 17 самых довольно часто задаваемых вопросов о сплит-тестировании

№2: Оценка связей

Многие эксперты по оптимизации конверсии уверены в том, что нельзя проводить два сплит-теста в один момент, поскольку их результаты смогут воздействовать друг на друга, и в итоге неспециализированная картина окажется искаженной.

Но на данный счет существует и второе вывод, основанное на том, что результаты нескольких тестов, совершённых в один момент, дополняют друг друга.

В конечном итоге, ответ о том, стоит ли проводить два сплит-теста в один момент, зависит от контекста обстановки. Ниже представлено пара вероятных сценариев:

1. Низкий риск взаимовлияния. В случае если трафик, нужный для обоих тестов, не пересекается между собой, то их в полной мере возможно совершить в один момент. К примеру, вы имеете возможность протестировать неповторимое торговое предложение на основной странице в один момент с отзывами клиентов на карточках товаров.

В этом случае одинаковый пользователь может «поучаствовать» в обоих тестах. Возможность того, что два сплит-теста будут «соперничать» между собой, весьма мала.

Отчего же это трудится? Если не углубляться в математические расчеты, то базой любого сплит-теста есть принцип случайного выбора:

100 визитёров

Тест 1: Основная страница: Вариант А – 50 визитёров, Вариант В – 50 визитёров;
Тест 2: Карточка товара: Вариант С – 25 визитёров, Вариант D – 25 визитёров;

25 визитёров видят варианты А и С;
25 визитёров видят варианты А и D;
25 визитёров видят варианты В и С;
25 визитёров видят варианты В и D.

Так, мы видим, что в то время, когда действует принцип случайного выбора, количество визитёров распределяется равномерно.

2. Большой риск взаимовлияния. Очевидно, существуют и такие сплит-тесты, каковые не рекомендуется проводить в один момент. К примеру, вы желаете протестировать размещение отзывов о товаре на странице. И вы собираются изучить, как порядок размещения отзывов воздействует на конверсию.

Если вы совершите два этих сплит-теста в один момент, то рискуете взять неясные результаты.

Существует пара вариантов решения проблемы с тестами, чьи результаты смогут воздействовать друг на друга. Самым несложным из них есть проведение двух сплит-тестов по отдельности. Трафик оптимальнеераспределить в соотношении 50 на 50.
В случае если такое распределение нереально, то нужно определиться, какой из сплит-тестов есть более приоритетным.

Второй вариант ответа данной неприятности – мультивариантное тестирование. Это имеет суть лишь в том случае, если сплит-тесты имеют одну и ту же цель. Помимо этого, они должны касаться одной и той же страницы сайта (как в примере с отзывами клиентов на карточке товара).

№3: коэффициент конверсии и Количество кликов

Многие маркетологи считают, что в случае если возрастет количество кликов, то в недалеком будущем возможно будет замечать рост коэффициента конверсии. Но не все так легко, как думается. Кроме того в случае если визитёры сайта стали чаще додавать товар в корзину, это вовсе не свидетельствует, что количество продаж вырастет.

определение и Выбор приоритетных KPI

Главным показателем KPI для вебмагазинов в большинстве случаев есть коэффициент конверсии. В случае если сплит-тест ориентирован на данный показатель, то он, соответственно, есть приоритетным.

Вторым обычным KPI для вебмагазина есть прибыль с визитёра. К примеру, задачей комплексной продажи есть убедить человека приобрести сопутствующий товар (к примеру, футболку вместе с джинсами). В этом случае показатель дохода с визитёра будет более релевантным, чем коэффициент конверсии.

Ниже возможно наглядно заметить отличие между макро- и микроконверсиями и еще раз убедиться в том, что первые являются главным приоритетом для любого бизнеса:

какое количество?
Макроконверсии:
конверсии;
заказы;
доход;
процент возвратов;
прибыль;

Из-за чего?
Микроконверсии:
Клики;
Визитёры;
Просмотры;
Глубина прокрутки;
Процент отказов;
…

Это вовсе не свидетельствует, что такие показатели, как количество просмотров и кликов, вовсе не имеют значения. Однако, они не должны являться основным «мерилом» эффективности сайта либо лендинга.

Предположим, вам нужно протестировать новый вариант панели навигации. Но, как ни необычно, результаты сплит-теста не показывают никаких трансформаций коэффициента конверсии либо количеств прибыли. Тогда появляется вопрос: визитёры применяют новую панель навигации равно как и ветхую? Либо они перемещаются по сайту каким-либо вторым методом?

В этом случае будет полезно проанализировать карту кликов, чтобы выяснить, как ведут себя визитёры вашего сайта.

Вам направляться знать еще одну особенность тестирования, которая зависит от выбранного KPI. При проведении сплит-теста вы уже через маленький временной отрезок имеете возможность замечать сдвиги в микроконверсиях, такие как клики и добавление товаров в корзину. Но не нужно ждать стремительных трансформаций коэффициента конверсии.

В действительности существует определенная связь между типом и величиной выборки KPI. Это зависит от неточности и колебаний определенных показателей. Чем выше возможность этих неточностей, тем продолжительнее должно проводиться тестирование, дабы добиться ощутимого результата. На рисунке ниже наглядно представлена зависимость длительности сплит-теста от типа KPI:

Клики – Конверсия – Количество продаж – Количество прибыли – Сокровище клиента

Чем больше неточности характерно конкретному KPI, тем продолжительнее должно проводиться тестирование.

Число кликов и просмотров по-второму именуют количественными данными. Эти показатели лишены неточности: человек или кликнул или нет.

Коэффициент конверсии в этом замысле отличается от этих метрик. Совершит человек приобретение либо нет, зависит от вторых факторов, что вызывает неточности.

И наконец, не следует измерять сходу пара показателей. Чем больше KPI вы станете измерять, тем сложнее будет окончательно решить. Однако, обстановку возможно упростить, грамотно расставив приоритеты.

Но нужно определиться с приоритетными макро- и микроконверсиями еще до начала тестирования.

  • 4 тактики оптимизации конверсии, каковые смогут уничтожить ваш бизнес

№4: Мультивариантные тесты

Многие маркетологи уверенный в том, что мультивариантные тесты через чур дорогие, а их результаты тяжело поддаются оценке.

Ниже представлено схематичное изображение аналогичного сплит-теста:

Успех мультивариантного теста зависит от того, как грамотно вы его проводите. Одновременное тестирование сходу нескольких вариантов может показаться чересчур сложным, но это не обязательно будет так. Нужно в голове пара правил.

Во-первых, не следует тестировать через чур много вариантов в один момент. Не забывайте о том, что было сообщено в начале статьи: чем больше тестируемых вариантов, тем выше возможность того, что вы примете неверное ответ. Вам направляться организовать догадку, и шепетильно подобрать комбинации вариантов для проверки. Ниже представлен пример таблицы с результатами мультивариантного теста:

Заглавия столбцов слева-направо: варианты, прибыль с одного визитёра, процент улучшения, возможность «превзойти» ветхий вариант.

Во-вторых, не следует слепо доверять итогам мультивариантного тестирования. Сначала вам стоит обратить внимание на то, какой вариант стал причиной громаднейшим улучшениям показателей. Кроме этого нужно проанализировать влияние личных факторов на коэффициент конверсии.

Это возможно сделано при помощи так именуемого дисперсионного анализа. Этот способ оказывает помощь изолировать влияние личных факторов (к примеру, цвета либо размещения элементов на странице) на коэффициент конверсии.

Оценить полученные результаты возможно кроме этого, совершив повторное тестирование. Вы имеете возможность протестировать «варианты-победители», дабы распознать наилучший. Личные факторы, воздействующие на конверсию, смогут быть протестированы раздельно (это продемонстрировано на рисунке ниже):

Часть 2: «Ловушки», подстерегающие вас на протяжении тестирования

№5: Через чур стремительное завершение тестирования

Заметив, что один из вариантов разумеется «опережает» второй уже через три дня, многие эксперты смогут сделать вывод, что пора заканчивать тестирование. Но, дабы выяснить, верным ли было ваше начальное предположение, потребуется больше времени. Любой сплит-тест имеет временные рамки, которым он подчиняется.

Их нужно выполнять, поскольку лишь так вы сможете верить втом, что сделали верные выводы.

В первые дни проведения тестирования возможно в большинстве случаев подметить колебания показателей. Это наглядно отображено на графике ниже:

На графике четко видны сильные колебания коэффициента конверсии в начале проведения сплит-теста. Этим итогам не следует доверять. Перед проведением тестирования, вам нужно четко определиться с временными рамками.

Это возможно сделать при помощи особых инструментов.

В случае если в начале тестирования показатели упали, направляться сохранять хладнокровие и продолжать начатое.

  • Сплит-тест: заблуждения, каковые воруют ваше время

№6: Исключение вариантов

Очевидно, , если один из тестируемых вариантов приносит такие плохие результаты, что это оказывает негативное влияние на ваши бизнес-цели, вам захочется исключить его. Кроме этого обычно эксперты отбрасывают варианты с низким распределением трафика. Наконец, маркетологи часто начинают вносить трансформации уже на протяжении тестирования.

Все это существенно искажает результаты. Если вы изменяете количество трафика, это ведет к тому, что ваш сайт через чур много либо мало представлен в сети.

Исключение одного из вариантов в середине тестирования имеет такой же эффект. Кроме этого в случае если поменять его сущность, то в следствии окажется непонятная смесь разных догадок, каковые не разрешат вам сделать верный вывод.

В аналогичной ситуации нужно отыскать оптимальный баланс между практическими целями и научными изысканиями. Ниже представлено пара советов, каковые окажут помощь вам достигнуть этого:

  • если вы исключаете один из вариантов в первые пара дней по окончании начала тестирования, то рекомендуется начать целый процесс заново. При таких условиях вы утратите очень мало времени;
  • если вы подвергаете тестируемые варианты каким-либо трансформациям, то лучше после этого совершить отдельный сплит-тест, дабы сравнить их со ветхими;
  • в случае если в ходе тестирования вы неспешно увеличиваете количество трафика, направляться убедиться в его качестве. Но по возможности количество трафика обязан оставаться стабильным.
  • Как персонализированный дизайн лендинга воздействует на конверсию в праздники?

№7: Процедура вычисления критерия Байеса

В соответствии с критерию Байеса оптимальным есть таковой обнаружитель, что минимизирует средний риск. Это новая методика, преимущество которой содержится в том, что результаты теста не имеют срока давности. Кроме этого ее возможно использовать кроме того при недостаточной величине выборки. Но процедура вычисления Байесовского критерия кроме этого имеет собственные недочёты:

1. Неоправданные ожидания. Необходимым условиям проведения процедуры вычисления критерия Байеса есть формулировка предварительной догадки. В случае если данное предположение окажется ошибочным, то вы попросту утратите время и получите некорректные результаты;

2. Через чур мелкий размер выборки. Сначала уже было сообщено о том, что результаты аналогичного тестирования возможно трактовать в любую секунду. Но в начале, в то время, когда колебания показателей через чур заметны, не следует торопиться с выводами.

Не обращая внимания на все очевидные преимущества Байесовского способа, при недостаточном размере выборки результаты теста будут некорректны. Помимо этого, эта методика не убережет вас от обычных неточностей, совершаемых на протяжении сплит-тестирования.

  • 38 способов повысить эффективность сплит-тестов

Часть 3: Неточности, которые связаны с оценкой результатов тестирования

№8: Доверие лишь одному источнику данных

Очевидно, особые программы для сплит-тестирования окажут помощь вам выяснить, приведет ли ваше предположение к увеличению коэффициента конверсии. Но полученные результаты оптимальнеекомбинировать с другими источниками данных, такими как совокупности веб-аналитики. Именно поэтому вы сможете ответить на пара появляющихся вопросов.

К примеру, в то время, когда по окончании окончания тестирования вы приобретаете полностью неожиданные результаты, появляется закономерный вопрос «из-за чего». В таковой ситуации целесообразно будет обратить внимание на микроконверсии.

Ниже представлена схема комбинации разных источников данных, разрешающая грамотно трактовать результаты сплит-теста:

Программа для тестирования – Веб-аналитика, Хранилище данных, Поведение визитёров.

Комплексный анализ данных из разных источников окажет помощь вам лучше осознавать собственных клиентов.

Еще один вопрос, что задают себе эксперты по оптимизации: приведут ли трансформации коэффициента конверсии к росту прибыли? В случае если в следствии мероприятий по оптимизации визитёры стали делать больше заказов, это наилучший вариант. А вдруг продажи остаются на прошлом уровне, то это может привести к денежным утратам.

Помимо этого, нужно учитывать объемные заказы, поскольку из-за «оптовиков» смогут появиться неприятности с оценкой результатов тестирования. Объемные заказы смогут поступать от клиентов из сферы B2B либо легко тех, кто чрезмерно увлекается онлайн-шоппингом. Отчего же они смогут искажать результаты сплит-тестов?

Это происходит по причине того, что наряду с этим учитываются средние показатели конверсии, количеств продаж и т.п. В случае если один из клиентов сделал громадной заказ, то показатели машинально «ползут» вверх.

Что же возможно сделать чтобы избежать неверной трактовки результатов в аналогичной обстановке? Большая часть программ для сплит-тестирования разрешают исключить из отчета заказы, чей количество превышает средний. Для этого существуют особые фильтры.

Еще одна неприятность содержится в расчете так именуемого доверительного промежутка. Она пребывает в том, что таковой расчет принято осуществлять с учетом обычного распределения (оно продемонстрировано на графике слева). Вертикальная ось отображает количество визитёров, а горизонтальная – число заказов.

На данном графике мы видим, что большая часть визитёров заказывают в среднем 5 товаров. Более большие либо небольшие заказы случаются реже. На графике справа продемонстрирована настоящая обстановка с заказами в большинстве вебмагазинов.

Большинство визитёров ничего не заказывает. Обычный клиент заказывает 1-2 товара.

Средний коэффициент конверсии обычного вебмагазина образовывает 5%. Это указывает, что около 95% визитёров сайта ничего не берут.

В математической статистике это именуется термином «скошенное вправо распределение». Оно оказывает значительное влияние на промежуток доверия. По сути, в таковой ситуации нереально совершенно верно подсчитать данный показатель.

Верный расчет промежутка доверия зависит от того, как полученные эти отклоняются от показателей обычного распределения.

Около 95% клиентов обычного вебмагазина покидают сайт, не совершив приобретение. Вследствие этого, отклонение от обычного распределения получается поразительно громадным.

Но имеется другие способы, благодаря которым возможно взять точные результаты при распределении данных, отклоняющихся от обычного:

1. Расчет U-критерия Манна Уитни – это хорошая альтернатива расчету доверительного промежутка при, имеется распределение данных существенно отклоняется от обычного;
2. Робастное оценивание – оно употребляется в тех случаях, в то время, когда эти распределены ненормально либо искажены объемными заказами. Средние значения и переменные вычисляются так, как будто бы они не подвержены влиянию нетипично высоких либо низких показателей;
3. Бутстреппинг – способ определения статистик вероятностных распределений, основанный на многократной генерации псевдовыборок способом Монте-Карло на базе имеющейся выборки.

  • 11 результатов сплит-тестов, либо интуиция vs. правила

№9: Оценка отдельных сегментов

Углубленно изучать любой из сегментов целевой аудитории – это хорошая мысль. Но, в то время, когда дело касается сплит-тестирования, отдельные группы клиентов ведут себя по-различному. Это, со своей стороны, никак не отображается в итоговых данных.

На графике продемонстрировано разделение клиентов на удачных и невыгодных. Вертикальная ось отображает трансформации коэффициента конверсии, а горизонтальная – число клиентов, задействованных в тестировании.

Как пример может послужить так именуемое неповторимое предложение сокровища, которое является совокупностью линия, делающих конкретный вебмагазин неповторимым.

У любого вебмагазина имеется новые и текущие клиенты. «Завсегдатаи» уже знают все преимущества вашего товара либо услуги. Неповторимое предложение сокровища оказывает помощь убедить новых клиентов совершить приобретение. Эти два типа клиентов по-различному реагируют на это предложение, что не отображается в итоговых отчетах.

В итоге, вы имеете возможность быть разочарованы тем, что не подмечаете значительного роста конверсии.

Если вы станете в один момент применять программы для тестирования и другие источники данных (к примеру, веб-аналитику), то вы сможете проанализировать результаты тестирования на предмет разных черт, которыми владеют ваши клиенты. Среди них возможно выделить:

пол;
возраст;
предпочитаемые категории товаров;
довольно часто посещаемые страницы;
поведение на сайте;
коэффициент возвратов;
расположение.

Однако, нужно проявлять осторожность. Чем больше сегментов вы сравниваете между собой, тем выше возможность происхождения неточности.

Помимо этого, вы должны убедиться в том, что эти сегменты велики. Если вы решили сосредоточить внимание лишь на визитёрах женского пола, заходящих на сайт с планшета и совершающих приобретения лишь по выходным, это приведет к тому, что вы станете разбирать только малого часть вашей аудитории. Из этого направляться несложной вывод: вы должны убедиться в том, что исследуемый вами сегмент включает много визитёров.

К тому же, в случае если вам заблаговременно как мы знаем, что вы станете делать сегментацию результатов, то продолжительность тестирования должна быть как минимум вдвое больше.

  • Сегментация аудитории как метод оптимизации конверсии сайта

№10: Выводы на базе результатов тестирования

По окончании удачно совершённого сплит-теста эксперты начинают вырабатывать прогнозы с учетом того, что в следствии оптимизации сайта компания начнет приобретать дополнительную прибыль. В следствии, менеджеры демонстрируют управлению броские презентации, в которых указано, что, как продемонстрировали результаты тестирования, доходы компании увеличатся на 40% в ближайшие два года.

Но не следует делать этого. В случае если кто-то сейчас сообщит вам, что ровно через три месяца будет ливень, вы поверите в это? Вряд ли.

Исходя из этого не следует торопиться с прогнозами на будущее. Этому имеется пара обстоятельств:

1. Кратковременные и долгосрочные эффекты. В большинстве случаев, при помощи сплит-тестирования мы можем выяснить только те факторы, каковые оказывают кратковременный эффект на поведение визитёров сайта. К примеру, длительность теста образовывает 3 семь дней, и вы замечаете повышение коэффициента конверсии на Х%.

Однако, эти трансформации ничего не могут сказать нам о долгосрочном поведении пользователей, и о таких KPI, как лояльность клиентов и уровень удовлетворённости.

Дабы выяснить факторы, оказывающие долгосрочный эффект на поведение потребителей, длительность тестирования должна быть намного больше. Кроме этого не нужно забывать об эффекте новизны. Люди скоро привыкают к новшествам: то, что удивляет нас сейчас, на следующий день уже может превратиться в обыденность.

Так, не нужно направляться считать, что короткий эффект купит постоянный темперамент.

2. Причинно-следственная сообщение vs взаимозависимость. Предположим, что в следствии сплит-тестирования вы взяли значительное увеличение коэффициента конверсии, исходя из этого вы решили внести протестированные трансформации на собственный сайт. Потом в большинстве случаев происходит так именуемое сравнение «до и по окончании». Эксперты сравнивают коэффициент конверсии до внесения трансформаций с конверсией затем.

В большинстве случаев все ожидают, что эти два показателя будут соответствовать друг другу. Но обычно этого не происходит.

Очевидно, внесенные трансформации смогут привести к повышению конверсии. Однако, не следует забывать о сотнях других факторов, оказывающих влияние на данный показатель (к примеру, сезонность, распродажи, появление новинок, сложности с доставкой и т.п.)

Крайне важно усвоить отличие между причинно-взаимозависимостью и следственной связью. Последняя только представляет собой статистическую связь двух и более размеров. Однако, обоюдная зависимость не подразумевает никакой причинно-следственной связи между размерами.

Ниже представлен график, на котором отображена связь между повышением затрат на науку, технологии и исследование космоса в Соединенных Штатах и ростом числа суицидов. Разумеется, что одно не есть прямым следствием другого.

Черным цветом отмечено число суицидов, а красным – величина затрат на развитие науки.

3. Неверная интерпретация коэффициента достоверности. Предположим, что в следствии тестирования конверсия возросла на 4,5%, а уровень достоверности результата составил 98%. Это вовсе не свидетельствует, что конверсия увеличится на 4,5% с возможностью 98%.

В следствии любого анализа коэффициента достоверности получается промежуток, отображающий возможное увел

Случайные статьи:

Как правильно проводить сплит-тестирование?


Подборка похожих статей:

riasevastopol

More Posts