Как зарабатывать больше с байесовской оценкой сплит-тестов?

Posted on by riasevastopol

Классический подход к анализу тестов — так называемый t-тест, способ, используемый в частотной статистике. Не смотря на то, что он научно-обоснован, его недочёт: обращая внимание лишь на статистическую значимость, вы рискуете прибылью.

Сейчас обсудим, из-за чего байесовский подход лучше частотных метрик. Звучит сложно, но не нервничайте — в конце поста вы сможете совершить личный байесовский анализ без особенного труда.

Как создать успешную программу тестов?

Печальная правда в том, что многие стратегии тестирований умирают негромкой смертью. Если не все члены команды верят в проект по оптимизации, вы израсходуете большое количество времени, обосновывая собственную правоту. А вера в замысел тестов во многом зависит от числа успешных опробований. В случае если ваш «коэффициент побед» низок — скажем, ниже 20%, — значит, сайт не изменяется с течением времени, и мотивация и энергия людей скоро иссякает.

Нет отдачи от упрочнений — нет увлеченности, не говоря уже о том, что желание финансировать проект скоро улетучивается без достаточного маркетингового ROI.

Без результатов вашу работу не увидят. В случае если одно из десяти опробований «выстреливает», управление сочтет тесты «балластом» — и понизит приоритет проекта, либо вовсе закроет его.

Необходимо больше побед!

Ответ разумеется — необходимо больше успешных тестов. Но сообщить легко, а как сделать? К примеру, тестируя более храбрые вариации — но имеется и второй подход.

Пересмотрите само восприятие «успешного» теста, поменяв способ анализа.

Для оценки сплит-тестов принято применять частотную статистику. Не осознали? на данный момент объясним.

Основная неприятность частотных данных — результаты теста тяжело трактовать. Так, t-тест (входящий в частотную статистику) контролирует, как отличаются значения двух свободных групп. Главное положение теста — нет никакой отличия между коэффициентами конверсии групп А и В. Это так называемая нулевая догадка.

С частотной обработкой результатов вы отвергаете эту догадку, хотя доказать, что вариант В превосходит контрольную версию А. При заблаговременно заданном уровне достоверности теста (в большинстве случаев, 90% либо 95%), вы оцениваете, ниже ли р-значение (1 — уровень достоверности) теста порогового р-значения. В случае если итог чуть ли подпадает под нулевую догадку (скажем, р-значение — 0,02), то конверсия А отличается от В.

Поднимая «занавес тайны» над P-значениями, либо Как обучиться обожать малые эти (Small Data)

Невиновен, пока не доказано обратное

Частотная статистика напоминает судебные процессы. Нулевая догадка в суде — ответчик не виновен. Это отправная точка: подсудимый не считается виновным, пока вина не доказана.

Другая догадка — виновность ответчика, которую еще предстоит доказать уликами.

После этого доказательства защиты и обвинения оцениваются. Судьи задают вопросы себя: «Возможно ли, с учетом имеющихся данных, вычислять ответчика невиновным?» Иначе говоря актуальна ли нулевая догадка так же, как и прежде? Если она актуальна, мы не отвергаем ее, а утверждаем, что доказательств не хватает для обвинительного вердикта.

В другом случае, мы отвергаем нулевую догадку.

Так, t-тест основан на предположении, что варианты А и В равны. Это сбивает с толку, и не только вас: недавнее изучение продемонстрировало, что более 80% маркетологов совсем не знают частотную статистику.

Последнее, что интересует маркетолога, это с какой возможностью нулевая догадка ошибочна и версии теста не равны. Все, что он желает знать — какая из предположений действеннее?

Иными словами, частотная статистика нерелевантна главному вопросу сплит-теста.

Победил либо нет? Хороший вопрос!

Вторая неприятность — бинарность результатов. Вы или победили, или проиграли. Иначе говоря вы или отвергаете нулевую догадку, или оставляете ее в силе.

Места дискуссиям тут нет.

Посмотрев на тест ниже, вы осознаете, что победителя нет и вариацию не следует реализовывать. Так как р-значение не хватает низкое, дабы отвергнуть нулевую догадку. Исходя из этого тест неудачный, и маркетологи начинают сперва.

Но хорошие тенденции видны (рост конверсии — 5%). Легко улучшение не хватает сильное, дабы признать его заметным и значимым. Быть может, еще пара конверсий, либо чуть громадная выборка, и итог стал бы вторым.

Несложнее говоря — мысль теста хороша, а догадка верна. Легко стоило совершить опробование мало в противном случае либо продолжительнее. Но частотное тестирование — это поиск полных победителей. Другая догадка должна быть доказана так же точно, как правонарушение в суде — мельчайшие сомнения недопустимы.

Необходимо снять риски, как это вероятно.

Кстати, это неудивительно, в случае если знать, что t-тестами контролируют лечебные препараты. Вряд ли фармацевтическая компания начнёт выводить на рынок лекарство без полной уверенности в его безопасности и пользе.

Но интернет-маркетинг — не ядерная физика и не медицина. От мелкого просчета тестировщика никто не пострадает. Твёрдый упор на безопасность не содействует росту бизнеса.

Дабы победить, необходимо рисковать — хотя бы мало.

Как запустить сплит-тест, что сделает ваш онлайн-бизнес по-настоящему успешным

Какова альтернатива?

Байесовский подход к оценке сплит-тестов сейчас делается популярнее. Большая часть известных программных ответов для тестов обратились к байесовской оценке результатов.

Гугл Optimize и Stats Engine от Optimizely применяют способ, а VWO сравнительно не так давно перешли на байесовские ответы. И на другими словами обстоятельства: подход осмысленный, поскольку он отвечает на главный вопрос сплит-теста.

Байесовская статистика не применяет нулевую догадку, но определит: с какой возможностью В лучше А? Так мы забываем о р-значении, вместо чего спрашиваем: учитывая замечаемые эти, какова возможность того, что догадка верна?

То, чего мы ожидаем от тестов: В лучше А, либо нет? И на какое количество?

Байесовская оценка тестов

Подход избавляет от тяжёлых терминов. Никаких нулевых догадок, р-значений, z-значений и другого. Байесовский способ просто говорит о том, что сработало лучше: В либо А.

Звучит элементарно, не так ли? взглянуть на график:

Как зарабатывать больше с байесовской оценкой сплит-тестов?

На базе данных способ говорит о том, что с возможностью 89,1% версия В лучше, чем А. Применяя байесовский подход, вы забываете о бинарности результатов. Сейчас маркетологи видят правильную цифру — на какой процент вариация лучше контрольной версии.

Больше не требуется твердить: «с р-значением 0.102 мы не можем отвергнуть нулевую догадку». Смело и звучно заявляем: «С возможностью 89,1% конверсия варианта В выше, чем у контрольной версии А!».

Второе звучит лучше, не правда ли?

Байесовская статистика не применяет нулевую догадку, но определит: с какой возможностью В лучше А

Твитнуть цитату:

Как показалось понятие о среднем значении?

Делайте ставки!

Но необходимо ли реализовывать победившую версию? Байесовский анализ оценивает риски и рассчитывает, как следствия повлияют на доходы.

Среднее увеличение дохода (сумма зеленых полос в примере выше) возможно умножить на величину среднего значения и продолжить период до 6 месяцев (приблизительно, по причине того, что мы не знаем, как продолжительно трансформации будут стимулировать доход). То же верно для среднего падения конверсии (сумма красных полос выше).

В отечественном примере, компания утратит деньги с возможностью 10,9% (сумма риска — около $ 200 тыс.), а получит — с возможностью 89,1% (около $ 660 тыс.). Заманчивая возможность, не правда ли?

Байесовская оценка учитывает, что трансформации смогут быть малыми, и контролирует, перевешивает ли ожидаемый рост дохода риски от нулевого результата.

Как на большом растоянии стоит заходить?

Различные типы компаний по-различному относятся к риску. В случае если у вас стартап, то пространство для маневра шире, чем у громадного и «неповоротливого» бизнеса. Терять деньги не обожает никто, исходя из этого минимальная возможность успеха обязана держаться на уровне 75%.

Число не фиксированное и может варьироваться, в зависимости от теста. Скажем, поменяв заголовок, вы рискуете куда меньше, чем радикально переработав процесс заказа. На второе уйдет больше ресурсов, соответственно, возможность успеха должна быть выше.

статистическая достоверность и Оптимизация конверсии: это что может значить?

Вместо заключения

На фоне частотной статистики, у байесовского способа целая россыпь преимуществ:

  • Он понятнее — тяжёлые термины статистики больше не необходимы;
  • Лучше подходит бизнесу — способ показывает, что В лучше А на Х%.
  • Вы не теряете хорошие идеи, не доказавшие значимость при частотной оценке.
  • Доходы растут, а трансформации ускоряются. Вы не тратите время, опровергая нулевую догадку, а внедряете версии, каковые принесут прибыль.

Высоких вам конверсий!

По данным: conversionxl.com

Случайные статьи:

Как зарабатывают деньги на школьниках?! (тестирование игр)


Подборка похожих статей:

riasevastopol

More Posts