Что такое статистическая значимость при оптимизации конверсии?

Posted on by riasevastopol

Как вы думаете, что делает вашу «вторую половинку» особой, значимой? Это связано с ее (его) личностью либо с вашими эмоциями, каковые вы испытываете к этому человеку? Быть может, с несложным фактом, что догадка о случайности вашей симпатии, как показывают изучения, имеет возможность менее 5%? В случае если вычислять последнее утверждение точным, то успешных сайтов знакомств не существовало бы в принципе:

Мы все привыкли думать что-то значимое как что-то неповторимое, но статистика упрямо заявляет: это совсем не так.

В то время, когда вы проводите сплит-тестирование либо каждый анализ вашего сайта, неверное познание «статистической значимости» может привести к неправильной интерпретации результатов и, следовательно, ошибочным действиям в ходе оптимизации конверсии. Это справедливо и для тысяч вторых статистических тестов, проводимых каждый день в любой существующей отрасли.

Дабы разобраться, что же такое «статистическая значимость», нужно погрузиться в историю появления этого термина, познать его подлинный суть и осознать, как это «новое» старое познание окажет помощь вам правильно трактовать результаты собственных изучений.

  • 11 ошибочных трендов в оптимизации конверсии

Мало истории

Что такое статистическая значимость при оптимизации конверсии?

Не смотря на то, что человечество применяет статистику для ответа тех либо иных задач уже большое количество столетий, современное познание статистической значимости, проверки догадок, рандомизации а также дизайна опытов (Design of Experiments (DOE) начало формироваться лишь в начале 20-го столетия и неразрывно связано с именем сэра Рональда Фишера (Sir Ronald Fisher, 1890-1962):

Рональд Фишер был статистиком и эволюционным биологом, что имел особенную страсть к изучению естественного отбора и эволюции в растительном мире и животном. В течение собственной прославленной карьеры он создал и популяризировал множество нужных статистических инструментов, которыми мы пользуемся до сих пор.

Фишер применял созданные им методики, дабы растолковать такие процессы в биологии, как доминирование, мутации и генетические отклонения. Те же инструменты мы можем применить сейчас для улучшения и оптимизации контента веб-ресурсов. Тот факт, что эти средства анализа смогут быть задействованы для работы с предметами, которых на момент их создания кроме того не существовало, думается достаточно необычным.

Столь же страно, что раньше сложнейшие вычисления люди делали без калькуляторов либо компьютеров.

Для описания результатов статистического опыта как имеющих большие шансы появляться истиной Фишер применял слово «значимость» (от англ. significance).

Кроме этого одной из самые интересных разработок Фишера возможно назвать догадку «сексуального сына». В соответствии с данной теории, дамы отдают собственный предпочтение неразборчивым в половых связях мужчинам (гулящим), по причине того, что это разрешит рожденным от этих мужчин сыновьям иметь такую же предрасположенность и произвести на свет больше собственных отпрысков (обращаем внимание, что это всего лишь теория).

Но никто, кроме того очень способные ученые, не застрахованы от совершения неточностей. Огрехи Фишера досаждают экспертам и сейчас. Но не забывайте слова Альберта Эйнштейна: «Кто ни при каких обстоятельствах не ошибался, тот не создавал ничего нового».

Перед тем как перейти к следующему пункту, запомните: статистическая значимость — это обстановка, в то время, когда отличие в итогах при проведении тестирования так громадна, что эту отличие нельзя объяснить влиянием случайных факторов.

  • Пивовар, революционизировавший прикладную статистику

Какова ваша догадка?

Чтобы выяснить, что означает «статистическая значимость», сперва необходимо разобраться с тем, что такое «проверка догадок», потому, что два этих термина тесно переплетаются.
Догадка — это всего лишь теория. Когда вы создадите какую-либо теорию, вам будет нужно установить порядок сбора достаточного количества доказательств и, фактически, собрать эти доказательства. Существует два типа догадок.

Яблоки либо апельсины — что лучше?

  • С опаской! Сплит-тест — это иллюзия

Нулевая догадка

В большинстве случаев, как раз в этом месте многие испытывают трудности. Необходимо иметь в виду, что нулевая догадка — это не то, что необходимо доказать, как, к примеру, вы обосновываете, что определенное изменение на сайте приведет к увеличению конверсии, а напротив. Нулевая догадка — это теория, которая гласит, что при внесении каких-либо трансформаций на сайт ничего не случится.

И цель исследователя — опровергнуть эту теорию, а не доказать.

В случае если обратиться к опыту раскрытия правонарушений, где следователи кроме этого строят догадки в отношении того, кто есть преступником, нулевая догадка принимает вид так называемой презумпции невиновности, концепта, в соответствии с которому обвиняемый считается невиновным , пока его вина не будет доказана в суде.

Нулевая догадка — это теория, которую вам необходимо опровергнуть, а не доказать

Твитнуть цитату

Другая догадка

В случае если нулевая догадка содержится в том, что два объекта равны в собственных особенностях, а вы пробуете доказать, что один из них все же лучше (к примеру, A лучше B), вам необходимо отказаться от нулевой догадки в пользу другой. К примеру, вы сравниваете между собой тот либо другой инструмент для оптимизации конверсии. В нулевой догадке они оба оказывают на объект действия однообразный эффект (либо не оказывают никакого результата).

В другой — эффект от одного из них лучше.

Ваша другая догадка может содержать числовое значение, к примеру, B – A20%. При таких условиях нулевая догадка и другая смогут принять следующий вид:

Второе наименование для другой догадки — это исследовательская догадка, потому, что исследователь неизменно заинтересован в доказательстве этой догадки.

  • 24 догадки сплит-тестирований

значение и Статистическая значимость «p»

Снова возвратимся к Рональду его понятию и Фишеру о статистической значимости.

Сейчас, в то время, когда у вас имеется нулевая догадка и другая, как вы имеете возможность доказать одно и опровергнуть второе?

Потому, что статистику по самой собственной природе предполагают изучение определенной совокупности (выборки), вы ни при каких обстоятельствах не имеете возможность быть на 100% уверены в взятых итогах. Наглядный пример: обычно результаты выборов расходятся с результатами предварительных опросов а также эксит-пулов.

Врач Фишер желал создать определитель (dividing line), что разрешал бы осознать, удался ли ваш опыт либо нет. Так и показался индекс достоверности. Достоверность — это тот уровень, что мы принимаем чтобы заявить, что мы вычисляем «значимым», а что нет.

В случае если «p», индекс достоверности, равен 0,05 либо меньше, то результаты точны.

Не переживайте, в конечном итоге все не так запутано, как думается.

Распределение возможностей Гаусса. По краям — менее возможные значения переменной, в центре — самые вероятные. P-показатель (закрашенная зеленым область) — это возможность замечаемого результата, появляющегося случайно.

Обычное распределение возможностей (распределение Гаусса) — это представление всех вероятных значений некой переменной на графике (на рисунке выше) и их частот. Если вы совершите собственный изучение верно, а после этого расположите все полученные ответы на графике, вы получите как раз такое распределение. В соответствии с обычному распределению, вы получите громадной процент похожих ответов, а оставшиеся варианты разместятся по краям графика (так именуемые «хвосты»).

Такое распределение размеров довольно часто встречается в природе, исходя из этого оно и носит название «обычного».

Применяя уравнение на базе вашей результатов и выборки теста, вы имеете возможность вычислить то, что именуется «тестовой статистикой», которая укажет, как отклонились полученные результаты. Она кроме этого посоветует, как близко вы к тому, дабы нулевая догадка была верной.

Дабы не забивать собственную голову, применяйте онлайн-калькуляторы для вычисления статистической значимости:

Один из примеров таких калькуляторов

Буква «p» обозначает возможность того, что нулевая догадка верна. В случае если число будет маленьким, это укажет на отличие между тестовыми группами, в то время как нулевая догадка будет заключаться в том, что они однообразны. Графически это будет смотреться так, что ваша тестовая статистика окажется ближе к одному из хвостов вашего колоколообразного распределения.

Врач Фишер решил установить порог достоверности результатов на уровне p ≤ 0,05. Но и это утверждение спорное, потому, что ведет к двум затруднениям:

1. Во-первых, тот факт, что вы доказали несостоятельность нулевой догадки, не свидетельствует, что вы доказали другую догадку. Вся эта значимость всего лишь значит, что вы не имеете возможность доказать ни A, ни B.

2. Во-вторых, в случае если p-показатель будет равен 0,049, это будет означать, что возможность нулевой догадки составит 4,9%. Это вероятно значит, что в одно да и то же время результаты ваших тестов смогут быть одновременно и точными, и ошибочными.

Вы имеете возможность применять p-показатель, а имеете возможность отказаться от него, но тогда вам будет нужно в каждом отдельном случае высчитывать возможность осуществления нулевой догадки и решать, достаточно ли она громадная, дабы не вносить тех трансформаций, каковые вы планировали и тестировали.

Самый распространенный сценарий проведения статистического теста сейчас — это установление порога значимости p ≤ 0,05 до запуска самого теста. Лишь не забудьте пристально изучить p-значение при проверке результатов.

  • 10 неточностей сплит-тестирования, каковые дорого вам обойдутся

Неточности 1 и 2

Прошло так много времени, что неточности, каковые смогут появиться при применении показателя статистической значимости, кроме того взяли личные имена.

Неточность 1 (Type 1 Errors)

Как было упомянуто выше, p-значение, равное 0,05, свидетельствует: возможность того, что нулевая догадка окажется верной, равняется 5%. Если вы откажетесь от нее, вы совершите неточность под номером 1. Результаты говорят, что ваш новый сайт поднял показатели конверсии, но существует 5%-ная возможность, что это не верно.

Неточность 2 (Type 2 Errors)

Эта неточность есть противоположной неточности 1: вы принимаете нулевую догадку, тогда как она есть фальшивой. К примеру, результаты тестов говорят вам, что внесенные трансформации в сайт не принесли никаких улучшений, в то время как трансформации были. Как результат: вы упускаете возможность поднять собственные показатели.

Такая неточность распространена в тестах с недостаточным размером выборки, исходя из этого не забывайте: чем больше выборка, тем точнее итог.

  • Из-за чего сплит-тесты не трудятся?

Заключение

Пожалуй, ни один термин среди исследователей не пользуется таковой популярностью, как статистическая значимость. В то время, когда результаты тестов не будут считаться статистически значимыми, последствия бывают самые различные: от роста показателя конверсии до провала компании.

И раз уж маркетологи применяют данный термин при оптимизации собственных ресурсов, необходимо знать, что же он свидетельствует в действительности. Условия проведения тестов смогут изменяться, но критерий успеха и размер выборки серьёзен неизменно. Не забывайте об этом.

Высоких вам конверсий!

По данным blog.crazyegg.com

Случайные статьи:

Что такое конверсия сайта и почему от нее зависит успех бизнеса?!


Подборка похожих статей:

riasevastopol

More Posts