Как понять, что вы готовы к сплит-тестированию?

Posted on by riasevastopol

Итак, ваш сайт либо лендинг удачно запущен, количества входящего трафика возрастают с каждым днем, и вы в полной мере готовы протестировать новый контент, дабы оптимизировать конверсию. Либо же с тестами необходимо повременить?

Ответ на данный вопрос кроется в чудесном слове, которое в течении десятилетий пугаеткроме того опытных маркетологов: статистика. Одни уверены в том, что данный термин подразумевает сортировку, анализ и организацию данных. Другие ассоциируют его со перечнем радостных фактов (к примеру, «Более, чем 50% американцев засыпают на боку»), представленных в графической либо табличной форме.

% Взрослых, каковые дремлют: 1. На боку, 2. На пояснице, 3. На животе, 4. Ни одно из вышеперечисленного

В действительности этот термин определяется приблизительно так:

«Статистика — это наука, которая имеет дело с сбором, анализом и классификацией данных числового характера по любой тематике»

Говоря несложнее, статистика предоставляет вам большое количество нужной информации, но сущность в том — как как раз вы распорядитесь этими сведениями. Знание фундаментальных баз статистики разрешит вам совершенствовать ваши сплит-тесты, заблаговременно решать, сколько трафика вам пригодится в совершенстве, и разбирать полученные результаты более действенно.Как понять, что вы готовы к сплит-тестированию?

  • 17 самых довольно часто задаваемых вопросов о сплит-тестировании

Пара концепций

Пробуя применить статистические инструменты без понимания базисных правил данной науки, вы станете быть похожим человека, что пользуется калькулятором, но не может вычислять в уме. К сожалению, Сейчас оба сценария становятся все более распространенными, поскольку разработки затрагивают фактически любой нюанс нашей жизни.

Дабы вы не попались в эту ловушку, обрисуем пара инструментов, каковые окажут помощь выяснить готовность вашего сайта к проведению сплит-тестирования.

Типы данных

Каждый день мы сталкиваемся с двумя главными типами данных:

  1. Категориальные эти такие, как «орел либо решка», «мужчины либо дамы», «да либо нет», в статистике кроме этого известны как атрибутивные.
  2. И числовые, либо переменные эти — «мужчина ростом 1,85 м», «дом площадью 350 кв. метров» — каковые эксперты довольно часто именуют переменными.

В целом, переменные эти предоставят вам больше информации, потому, что тут употребляется нескончаемое количество значений, но все же атрибутивную данные существенно проще осознать и проанализировать.

Так как сплит-тесты относятся к категории «да либо нет», хорошая новость содержится в том, что в основном вы станете трудиться с атрибутивными данными.

Достоверность данных

Достоверность есть одной самых несложных статистических концепций, потому, что в статистике она определяется совершенно верно кроме этого, как и в повседневной судьбе. Перед тем как задействовать трафик в сплит-тестировании, вы должны задать себе в полной мере логичный вопрос: «Как я могу быть уверен?». Либо выражаясь более конкретно, «Как я могу быть уверен, дабы полученные результаты окажутся верными?»

1. Уровень достоверности

Уровень достоверности (confidence level — CL) дает вам ответ на данный вопрос, выраженный в процентах. В случае если уровень вашей уверенности образовывает 95%, это значит, что вы на 95% уверенный в правдивости результатов. Не так долго осталось ждать вы осознаете, что размер выборки при проведении сплит-тестов сильно зависит как раз от этого показателя.

2. Промежуток достоверности

Промежуток уверенности — это родственная величина, демонстрирующая диапазон, в котором с 95% (либо каждый в зависимости от вашего CL) возможностью содержится «настоящее» значение. В то время, когда вы рассказываете: «Я на 95% не сомневается в том, что 60-70% клиентов отдали предпочтение сайту А», ваш промежуток достоверности равен диапазону 65%5%.

3. Допустимая погрешность

Допустимая погрешность — это частица «5%» из прошлого описания. Вы должны не забывать о том, что для получения меньшей погрешности вам нужно будет увеличить выборку. Поразмыслите, хватит ли у вас трафика, дабы протестировать достаточное количество вариантов?

Слева — допустимая погрешность/размер выборки, справа — уровень достоверности/размер выборки

  • С опаской! Сплит-тест — это иллюзия

Размер выборки

В Сети вы имеете возможность отыскать множество калькуляторов, разрешающих вычислить размер выборки, исходя из этого мы не начнём расписывать тут никаких формул. Легко убедитесь в том, что вы пользуетесь инструментом, предназначенным для работы с атрибутивными данными либо пропорциями.

Ответственным моментом есть то, что и большой уровень достоверности, и низкая допустимая погрешность подразумевают больший размер выборки. Дабы узнать, хватит ли вам трафика для запуска для того чтобы масштабного сплит-тестирования, вам пригодится следующая информация:

1. Общее число веб-трафика (количество пользователей, пришедших на сайт в определенный период времени)
2. Ваш желаемый уровень достоверности.
3. Ваша допустимая погрешность.

Не забывайте, что ваш трафик и размер выборки (либо все пользователи) — это два различных, но взаимосвязанных показателя. Чем больший процент вашей аудитории охватывает выборка, тем более точными будут результаты.

Чем больший процент вашей аудитории охватывает выборка, тем более точными будут результаты

Твитнуть цитату

  • Сплит-тестирование как разработка оптимизации конверсии

шум и Искажение

Искажение: 9 из 10 стоматологов

Не забывайте рекламу зубной пасты, в которой говорилось, что 9 из 10 стоматологов порекомендовали ее своим больным? Если бы все эти врачи трудились на компанию-производителя, это было бы хорошим примером статистического искажения. Дабы избежать этого, вам нужно включать в выборку вашего сплит-теста максимально случайные сегменты аудитории.

В хорошей книге 1950-х годов называющиеся «Как лгать при помощи статистики» (How to Lie with Statistics) приведено множество забавных примеров таких искажений. Вместе с тем, ко всему, создатель говорит, как при помощи статистики возможно ввести в заблуждение либо дезинформировать население. Большая часть методик так же, как и прежде остаются актуальными, кроме того спустя 60 лет.

Дарелл Хафф (Darrell Huff) — «Как лгать при помощи статистики»

Шум: выполняйте тишину

Статистический шум (помехи) похож на искажение, но эту проблему нельзя решить, сделав выборку случайной. Думайте о шуме как о неожиданном и непреднамеренном событии, которое происходит среди вашего сплит-тестирования и изменяет привычное онлайн-поведение пользователей.

Чтобы избежать негативных последствий шума, вам необходимо распланировать ваше изучение на определенный период (как минимум семь дней), так как благодаря такому подходу события одного дня будут оказывать влияние на конечный итог в меньшей степени.

  • 5 способов провалить сплит-тест

Настоящий пример

Представьте, что вы запустили новый eCommerce ресурс приблизительно полгода назад. Вы увидели, что трафик растет, и сейчас сайт завлекает более чем 3000 визитёров каждую семь дней (3182 по последним данным). У вас появилась классная идея для обновления целевой страницы, но вы не желаете портить вашу 30%-ную конверсию!

И все-таки вы решились совершить сплит-тест, дабы заметить, как новый лендинг скажется на конверсии ресурса. Но хватит ли у вас трафика?

В первую очередь, выясните ваш желаемый уровень достоверности. В этом случае мы остановились на 95%:

Затем вы должны указать промежуток достоверности (в действительности это допустимая погрешность, но в этом калькуляторе они именуют ее промежутком достоверности). Если вы желаете быть на 95% уверенными в том, что ваши результаты будут правильны с погрешностью7%, вам необходимо вписать в соответствующее поле цифру «7».

В графе Population («Трафик») количество визитёров, пришедших на сайт в течение заданного периода времени. Убедитесь в том, что данный временной промежуток сходится с длительностью вашего сплит-тестирования.

В то время, когда вы надавите Calculate («Вычислить»), в поле Sample size needed покажется число 185. Не забывайте, что на протяжении теста вам необходимо будет контролировать как новые, так и контрольные страницы, а потому полученный размер выборки нужно умножить на два: 185 х 2 = 370. Так, у вас достаточно трафика с целью проведения данного теста с интервалом достоверности и желаемым уровнем.

Калькулятор

Результаты: что делать со всем этим?

Если вы грамотно подберете размер выборки, полученные результаты дадут вам четкое представление обстановки, на базе которого вы сможете принимать верные ответы.

Результаты: сравнение промежутков достоверности лендингов A и B

Говоря в общем, в случае если графики двух распределений не пересекаются, между двумя тестовыми группами вправду прослеживается весомая отличие. Это справедливо как для атрибутивных, так и для переменных данных.

В приведенном выше примере график конверсии вашей контрольной группы, с учетом погрешности, не пересекается с результатами оптимизированного лендинга, что говорит о больших улучшениях.

Вместо заключения

Сплит-тестирование возможно бесценным инструментом в сегодняшней ультра-конкурентной CRO (conversion rate optimization) среде. Освоив базисные статистические концепции, вы обучитесь лучше разбираться в ваших данных и осознаете, в то время, когда трафик вашего ресурса достигнет уровня, что разрешит совершить действенный сплит-тест.

Высоких вам конверсий!

По данным: blog.crazyegg.com

Случайные статьи:

Настройка UniSender №3: Как проводить сплит-тестирование


Подборка похожих статей:

riasevastopol

More Posts