Как правильно проводить a/b-тесты и быть уверенным в значимости результатов?

Posted on by riasevastopol

Если вы емейл-маркетолог, то понятие сплит-теста вам точно знакомо. К A/B-тестированию мы обращаемся, в то время, когда нас одолевают сомнения по поводу темы, цвета кнопки call-to-action и других серьёзных элементов рассылки.

Как сработает та либо другая версия письма? Какая принесет больше дохода и отклика?

В данной статье мы обсудим, как верно проводить сплит-тесты и каким итогам возможно доверять.

Сплит-тестирование в стандартных письмах

Посредством сплит-теста сравниваются количественные показатели конверсии нескольких предположений писем в одном сегменте получателей, и определяется победитель с громаднейшим откликом.

Контент писем тестируется по следующим параметрам:

• формулировке темы, прехедера;
• длине либо стилю текста;
• виду, величине, цвету шрифтов;
• дизайну и цветовому оформлению;
• оформлению кнопок;
• применению gif-анимации, видеороликов либо статичного изображения;
• применению динамического контента и персонализации;
• применению ограничений по времени и тизеров;
• применению статичной картинки и таймеров;
и вторым элементам.

Отклик на письмо довольно часто зависит от дня семь дней, в который оно послано. Наряду с этим одинаковая рассылка может активнее раскрываться за одни сутки, а кликаться и приводить к приобретению — в второй. Лишь опыты разрешат распознать оптимальные час и день для общения с подписчиками.

Время — отдельный показатель, исходя из этого в один момент с остальными элементами письма его тестировать не следует. В собственной практике мы довольно часто сталкиваемся с множественным тестированием — к примеру, в один момент тестируются тема, персонализация и цветовое ответ. Думается, чем больше охватишь в одной версии, тем больше успеешь.

Но в действительности в емейле ответствен любой компонент, и при таком тестировании неясно, что именно оказало влияние на итоговый итог.

Вариантов писем также не должно быть больше двух за одно изучение. Два письма — это практически в любое время один победитель и один проигравший. Чем больше участников подключается к тесту, тем меньше разрыв между результатами и менее очевиден вывод.

Помимо этого, чем больше тестовых групп, тем меньше возможность, что они будут однородны между собой и пройдут диагностику А/А-тестом, про что мы поболтаем ниже.

Регулярные сплит-тесты в автоматических цепочках писем

Кроме разовых тестов возможно проводить регулярные сплит-тесты в цепочках сообщений, идущих по заданному сценарию. Мысль содержится в том, что одинаковые письма смогут с течением времени давать различные результаты. В случае если сейчас прекрасно трудится светло синий кнопка, то это не означает, что и спустя семь дней она кроме этого останется на лидирующих позициях.

Регулярное тестирование разрешит приобретать актуальную данные о мнении подписчиков ежедневно.

Просматривайте кроме этого: Как трудятся сплит-тесты: памятка для гуманитариев

Что такое статистическая значимость и где ее забрать?

В самих сплит-тестах нет ничего сложного, в особенности при эластичной автоматизации сервисов для рассылок. Однако, верно совершить изучение и взять какие-то цифры — еще не успех. Главный показатель сплит-теста — его статистическая значимость.

Как определить, был ли тест статически значимым и возможно ли опираться на его результаты?

В большинстве случаев, уровень статистической значимости принято брать равным 95%, другими словами в 95 случаях из 100 итог теста обязан повториться при таком же комплекте данных. Для каждой версии письма кроме этого рассчитывается доверительный промежуток — диапазон значений, в которого лежит подлинное значение измеряемой величины.

Формула для расчета доверительного промежутка громоздкая и пользуются ей лишь аналитики, но кратко размер доверительного промежутка зависит от количества участвующих в тестировании подписчиков, взятого уровня и результата статистической значимости. При повышении количества подписчиков, участвующих в тесте, либо при повышении кликов и процента открытий у тестируемых писем доверительный промежуток уменьшится.

В некоторых сервисах для рассылок доверительный интервал и статистическая значимость определяются машинально. Это значит, что формулы и аналитик не пригодятся.

Маленькая хитрость для пользователей таких сервисов: в случае если ползунки, отображающие доверительные промежутки, пересекаются по вертикали, предположения считаются равнозначными, и письмо-победителя выяснить запрещено. В случае если ползунки не пересекаются и отдалены друг от друга — возможно смело отправлять письмо-победитель оставшейся группе подписчиков.

Просматривайте кроме этого: Что такое статистическая значимость при оптимизации конверсии

А/А-тестирование

Допустим, мы соблюли все правила, дабы результаты теста возможно было признать значимыми, выбрали метод проведения сплит-теста, но все это может оказаться тщетным, в случае если предварительно не совершить А/А-тест. Редкий маркетолог знает, как и для чего его применять.

При А/А-тестировании мы отправляем двум тестовым группам одно да и то же письмо, но контролируем не контент либо тему, а однородность базы подписчиков. Мысль в том, что случайно выбранные части базы подписчиков должны показывать однообразные результаты. Так, к примеру, в случае если при А/А-тестировании оказались различные показатели открытий либо кликов, базу пользователей можно считать неоднородной.

Ее нужно сегментировать , пока результаты А/А-тестирования не будут приемлемыми.

Резонный вопрос — какой итог считается приемлемым? Тут критерии успешности также основаны на статистической значимости, но они будут противоположны А/В-тестированию. Основное в А/А-тестах — дабы результаты тестируемых писем не очень сильно отличались друг от друга, исходя из этого успешным будет таковой тест, при котором доверительные промежутки будут пересекаться.

И напротив: в случае если доверительные промежутки двух вариантов будут пребывать на большом растоянии друг от друга, тест возможно признать неубедительным.

А/А-тестирование не обязательно проводить довольно часто — остаточно делать это один раз в тридцать дней. Но, если вы тестируете клики, то любой раз обращайте внимания еще и на открытия. Если они будут очень сильно различаться в тестовых группах, то показатели кликов уже не имеют смысла.

Подытожим

Сплит-тест — оптимальный метод приспособить емейлы для собственной целевой аудитории. Он не требует особенных финансовых затрат, времени и отражает предпочтения ваших подписчиков. Но по опыту могу заявить, что результаты любого сплит-теста – не вечны и трудятся в вашу пользу недолго.

Выбор подписчиков может кардинально измениться в любую секунду. Исходя из этого ни при каких обстоятельствах не ленитесь лишний раз проверить, актуально ли изучение, которое вы проводили, например, полгода назад.

Как правильно проводить a/b-тесты и быть уверенным в значимости результатов?

Создатель этого поста:

Максим Ефремов, ведущий аналитик ExpertSender

Случайные статьи:

КАК ПРОВОДИТЬ A/B ТЕСТИРОВАНИЕ САЙТА?


Подборка похожих статей:

riasevastopol

More Posts