Как альфа и бета помогают улучшить сплит-тесты?

Posted on by riasevastopol

3000 лет назад древние греки здорово продвинулись в разработке инноваций. Они придумали катапульты, водопровод и, конечно же, алфавит. Современные буквы А и В случились от греческих Беты и Альфы. Но, и сами Альфа и Бета сейчас активно применяются — к примеру, в качестве математических терминов. В статистике Альфа и Бета также крайне важны при анализе разных тематических догадок, а также на протяжении сплит-тестирования.

Но на практике они довольно часто игнорируются, и совсем зря.

В сети возможно отыскать много онлайн-калькуляторов для сплит-тестов.

Они оказывают помощь сравнивать конверсии различных вариантов страниц, применяя результаты исследований. Но многие из них или не учитывают влияние коэффициентов Альфа и Бета, а вдруг и учитывают, то не позволяют корректировать величину самих коэффициентов. В это же время, конкретное значение коэффициентов Альфа и Бета может оказать решающее влияние на результаты тестов.

  • 10 неточностей сплит-тестирования, каковые дорого вам обойдутся

От греков к гикам

Древние греки начали приспособить алфавит древних финикийцев в 800-тых годах до н.э. В финикийском алфавите с каждой буквой было связано определенное существительное.Как альфа и бета помогают улучшить сплит-тесты? К примеру, буква Альфа (α) символизировала вола, а буква Бета (β) обозначала дом.

В целом же буквы в алфавите размешались по степени их значимости для выживания.

В 2016 году буквы α и β символизируют более 30 разных определений в математике, физике и других науках — а также нашли они собственный отражение и в статистике.

Что такое Альфа?

Альфа — это очень важная в мире статистики величина, которая связана с рядом вторых главных понятий, воздействующих на сплит-тестирование и определяющая, как правильными будут результаты тестов.

Альфа математически взаимосвязана с этими показателями как:

  • p-значение (p-value). Это величина, применяемая при тестировании статистических догадок. Практически это возможность неточности при отклонении нулевой догадки;
  • значимость (Significant), другими словами обоюдная связь между двумя группами наблюдений, разрешающая распознать различие между ними. Пожалуй, самый сложный для понимания термин, потому, что само слово может ввести в заблуждение;
  • уровень доверия к итогам (Confidence Level).

Наряду с этим все эти три показателя, и сам коэффициент Альфа, довольно часто путают между собой. Дабы внести ясность, стоит разобраться, как эти понятия соотносятся между собой.

Альфа — это возможность того, что на протяжении тестов вы получите хорошие результаты, не смотря на то, что в действительности они не будут являться таковыми.

Это так называемая неточность первого типа.

Конкретное значение Альфы вы выбираете на протяжении настройки сплит-теста. От него зависит, как правильным итогам вы готовы доверять. К примеру, вы выберете значение Альфы равное 0,05 (обычный уровень).

Значит, возможность того, что вы получите фальшивые результаты о увеличении конверсии сайта, будет составлять 5%. Соответственно, чем меньше значение этого коэффициента — тем более правильными будут результаты теста.

Достаточно ли вам быть уверенными на 95%? Решать вам.

  • Что такое статистическая значимость при оптимизации конверсии?

Что такое Бета?

В то время, когда мы слышим «бета», на ум значительно чаще приходит программистский термин «бета-тестирование». Из-за чего, кстати, его именуют как раз бета-тестирование?

Возвращаясь к концепции иерархии букв в финикийском алфавите, альфа-тест в индустрии ПО есть первым опробованием новой программы самими разработчиками, тогда как бета-тестирование выполняется уже сторонними пользователями по окончании первичной обкатки.

В статистике бета (β) также играется вторую скрипку. Но установить оптимальное значение для Беты иногда не менее важно, чем для Альфы.

Что же такое Бета? Во многом данный термин есть противоположностью и продолжением Альфе.

Бета — это возможность того, что вы получите отрицательные результаты тестов, не смотря на то, что в действительности они не будут являться таковыми.

Неверный выбор значения Беты возможно может привести к тому, что хорошая мысль, в действительности улучшающая конверсию сайта, возможно отвергнута из-за ошибочных результатов теста. Это неточность второго типа.

Отношения между Альфа и Confidence level (уровнем доверия) такие же, как между Бетой и Statistical Power (статистической мощностью), другими словами возможностью взять «подлинный хороший итог»:

Statistical Power = 1 — Бета

Данный показатель характеризует устойчивость тестов к неточностям второго типа.

Статистическая мощность напрямую связана с размером выборки, так что лучший метод повысить ее — выборку.

Если вы желаете быть уверенными, что из-за статистической погрешности не пропустите большое увеличение конверсии, то стоит установить начальное значение Беты как возможно ниже.

Наряду с этим, как ни необычно, большая часть онлайн-калькуляторов, о которых мы говорили выше, по умолчанию устанавливают для Беты значение 0,20. Другими словами у вас 20% шанс взять ложно отрицательный итог! Исходя из этого, если вы желаете приобретать более правильные результаты — не следует ориентироваться на это значение.

Само собой разумеется, имеется еще компромиссный вариант — компенсировать большой шанс неточности за счет повышения количества выборки. Стоит ли идти на данный компромисс — решать также вам.

В любом случае — зная о важности показателя Бета, вы определенно захотите знать, какое его значение по умолчанию употребляется в программном обеспечении для сплит-тестов, и захотите осуществлять контроль эту переменную самостоятельно.

  • статистическая достоверность и Оптимизация конверсии: это что может значить?

Что такое Сигма?

В статистике Сигма (σ) — это стандартное отклонение от среднего значения, и вычисляется оно как квадратный корень из Variance (дисперсии). Это один из самых нужных и ответственных показателей в статистическом анализе. И также, к сожалению значительно чаще не употребляется при тестировании веб-сайтов.

Из-за чего?

Чтобы вычислить стандартное отклонение, вам необходимо применять то, что именуется переменными данными. Примером может служить измерение размера детали автомобиля на заводе. Измерив многочисленную группу однообразных подробностей, вы определите их средний размер, и стандартную величину отклонения от этого размера.

Эти показатели разрешат вам держать производственный процесс под контролем.

В то время, когда же мы наблюдаем на эти, полученные на протяжении сплит-тестов, мы, в большинстве случаев, оперируем процентами. Другими словами какой процент пользователей кликнул по кнопке добавления в корзину, по кнопке регистрации и без того потом. Тут нет средних значений и нет отклонения от них — лишь проценты от общего числа пользователей. Это все равно, что подбрасывать монетку 100 раз.

Вы приобретаете лишь количество выпавших «орлов» и «решек», и тут нельзя рассчитать средние значения либо стандартные отклонения.

Однако, многие значения, приобретаемые на протяжении сплит-тестов, вариативны (Variation). Это понятие довольно часто путают с дисперсией (Variаnce), но это не одно да и то же.

Различия в демографических данных пользователей, в типах устройств, в моделях конверсии являются примерами различий, замечаемых на протяжении сплит-тестирования. Дабы перейти от вариации к дисперсии, вам нужен еще один слой данных, что присваивает всему конкретное численное значение, а после этого измеряет разность между этим значением и тем, что отмечается в течение продолжительного времени. Такое вероятно и при тестировании веб-сайтов, но не в рамках хороших сплит-тестов.

Высоких вам конверсий!

По данным blog.crazyegg.com, Image Source: MelkiaD

Случайные статьи:

Видео 16. Альфа-тестирование. Бета-тестирование.


Подборка похожих статей:

riasevastopol

More Posts