Представьте обстановку: вы в казино с громадным числом игровых автоматов, у каждого из которых имеется пусковой рычаг, либо рука (по данной же причине их прозвали «однорукими преступниками» — за постоянное обыгрывание клиентов).
Вы догадываетесь, что кое-какие автоматы успешнее остальных (выдают выигрыш чаще вторых), но количество попыток ограничено — надавив один рычаг, вы упускаете второй. Конечно, цель любого игрока — выйти из казино с большим выигрышем. Вопрос: как отыскать лучший игровой автомат в малейший срок?
Если бы игрок знал, какой автомат даст больше денег, он бы игрался в него весь день. Довольно оптимизации конверсии теория трудится схожим образом. Эндрю Андерсон (Andrew Anderson) в одной из статей в блоге Adobe растолковал работу бандитского метода так:
«В совершенной ситуации вы бы уже знали все вероятные комбинации и предугадали бы результаты любого действия, а после этого имели возможность бы применить все собственные ресурсы для исполнения одного самый перспективного шага с громаднейшей прибылью. К сожалению, мы живем в простом мире и не можем видеть будущее, но пробуем всеми силами его угадать».
Не смотря на то, что «бандитская методика» подвергается критике, существуют кейсы, в которых как раз этот метод дает отличных показателей.
В каких случаях стоит применять бандитский метод, а в то время, когда — сплит-тестирование?
Главные способы тестирования Landing Pages
Практическая отличие между сплит-бандитским алгоритмом и тестированием
А/В тест, либо сплит-тестирование — чаще всего применимый способ оптимизации конверсии, что проводится стандартно:
Трафик распределяется между предположениями веб-страницы следующим образом: 50% трафика направляется на контрольную версию сайта, а 50% — на тестируемую. Это длится , пока тест не соберет достаточно данных для ответа, какая версия действеннее.
Теоретически, сплит-тестирование складывается из маленького периода чистого изучения, в то время, когда трафик рандомно распределяется между предположениями А и В. После этого тест переходит в стадию долгого опыта, в то время, когда 100% трафика направляется на более действенную по итогам изучения версию.
В применении этого способа выделяют две неприятности:
1. Тестирование быстро переходит от изучения к практическим действиям, в то время как более плавный переход был бы рациональнее.
2. На этапе изучения бесцельно тратятся ресурсы на тест нехороших вариантов, дабы собрать максимум данных.
Отличие между «бандитским методом» и А/В/n тестированием содержится в том, как опыт распределяется между теоретической (получением достаточных результатов для принятия ответа) и практической частью (перераспределением трафика).
Сплит-тестирование сперва исследует, а позже перераспределяет трафик, задействуя лишь действенную страницу сайта:
Принцип «Сперва изучение»: последовательность практического тестирования (применения и этапов исследования данных) во времени
«Бандитский метод» решает задачу распределения ресурсов между практическим распределением и изучением трафика вторым методом. Вместо двух отдельных периодов применения и чистого исследования взятых результатов на практике «бандитское тестирование» адаптивно, разрешая в один момент изучить и распределять трафик динамично, на основании взятых данных:
Как проходят применения и этапы тестирования взятых данных в сплит-бандитском алгоритме «и тестировании»
Так, бандитское тестирование минимизирует затраты и отличие в это же время, что вы вправду приобретаете и что имели возможность бы взять, если бы выбрали лучший вариант на каждом этапе. Мэтт Гершофф (Matt Gershoff) из Conductrics опубликовал масштабный пост в блоге, посвященный методике:
«Многие именуют эту методику «получай, пока изучаешь», так как на протяжении теста вам нужно будет изучать, дабы выяснить, что трудится, а что нет, и оптимизировать прибыль. Вы приобретаете преимущество от изученного. Что мне особенно нравится в бандитском способе — это сбор данных, имеющих собственную сокровище, с позиций потерянных возможностей».
Бандитский метод» разрешает вам получать по ходу тестирования, не ждя окончательных результатов
Твитнуть цитату:
Крис Стуккьо (Chris Stucchio) из VWO предлагает следующее определение метода:
«Любой раз сталкиваясь с проблемой применения и изучения данных на практике для оптимизации конверсии, вы имеете дело с феноменом многоруких преступников (теорией возможностей). Любой метод решения проблемы сводится к «бандитскому методу» — включая А/В тестирование. Цель метода — исключить направление трафика на нерезультативную версию. Практически, любой бандитский способ, о котором вы имеете возможность прочесть в сети (исключениям являются противоборствующие методы, диффузные и скачкообразные алгоритмы ), делает кое-какие математические догадки:
1. Уровни конверсии не изменяются во времени
2. Показ регистрация и варианта конверсии происходят одномоментно. Это указывает, что следующая обстановка неосуществима: в 12:00 визитёр А видит версию 1. В 12:01 визитёр В видит версию 2. В 12:02 визитёр А конвертируется.
3. Варианты, тестируемые бандитским способом, свободны друг от друга.
Не смотря на то, что способ А/В-тестирования предлагает очень надежный метод, довольно часто эти догадки нарушаются. Сплит-тест не фокусируется на трансформациях уровня конверсии в тестовый период — к примеру, в случае если результаты воскресений и тестирования понедельников однообразны, то направляться убедиться, что на протяжении тестирования было однообразное количество воскресений и понедельников. Совершенно верно так же, направляться убедиться, что тестовый период достаточно долгий, дабы зарегистрировать трансформации уровня конверсии».
По сути, вопрос не в том, какой способ тестирования выбрать — «преступника» либо сплит-тесты, потому как это полностью различные способы, служащие различным целям.
Мультивариантное тестирование Vs сплит-тесты: что лучше?
Преимущества «бандитского» тестирования
Потом мы попытаемся выяснить, в то время, когда лучше использовать «бандитское» тестирование и каковы его преимущества?
График отражает связь уровня и бюджета утраты конверсии во времени на протяжении проведения «бандитского» тестирования
Гугл опыты с контентом применяют бандитский метод, аргументируя собственный выбор его бессчётными преимуществами:
«Бандитский метод более действенный, поскольку направляет трафик на лучшую версию планомерно, не принуждая вас ожидать, пока определится та наилучшая версия до конца опыта. Бандитский метод стремительнее, поскольку трафик, что имел возможность бы быть направлен на нехорошие предположения, может направляться сходу на более действенные варианты, а дополнительные эти, собранные с них, окажут помощь отличить легко хорошие рычаги от лучших значительно стремительнее».
Мэтт Гершофф (Matt Gershoff) выделяет 3 обстоятельства, из-за чего стоит дать предпочтение «бандитской» методике:
1. Получайте, пока изучаете. Сбор данных — это затраты, а бандитский метод разрешает вам минимизировать эти затраты на протяжении оптимизации.
2. Автоматизация. «Бандитский метод» — это естественный путь автоматизации оптимизации с применением машинного обучения, в особенности с учетом потребностей пользователя (А/В-тестирование в данной ситуации очень затруднительно).
3. Контроль обстановки. Разрешая методу время от времени выбирать менее успешные опции, вы даете ему возможность пересмотреть их эффективность. Это разрешает создать трудящийся инструмент, непрерывно определяющий самые эффективные варианты и заменяющий малоэффективные новыми.
Так, «бандитский метод» возможно рекомендован в силу плавного перехода от изучению к практическому применению, возможной автоматизации и скорости.
10 неточностей сплит-тестирования, каковые дорого вам обойдутся
Разновидности методики «бандитского метода»
Множество дискуссий касаемо «бандитского тестирования» упускают из виду главные изюминки метода.
Разглядим несложный и самый доступный способ — «эпсилон-жадный метод» (epsilon-greedy algorithm). Воздействие данного метода показывает в общем, как трудятся «бандитские методы».
Эпсилон-жадный метод
Эпсилон-жадный способ (Epsilon-Greedy Method) доказал эффективность на практических примерах. Главные параметры опыта, подлежащие отслеживанию — количество нажатий рычага и приносимая автоматом прибыль. В 10% случаев рычаг выбирается рандомно, в остальных 90% случаев нажимается рычаг с громаднейшей прогнозируемой пользой.
Что в данной комбинации свидетельствует слово «жадный»? Жадный метод — это метод, неизменно выбирающий наилучшее на этот конкретный момент времени воздействие. Так, эпсилон-жадный метод оказывается как правило простым жадным методом, любой раз выбирая самый целесообразный сейчас вариант.
Но иногда эпсилон-жадный метод отдает предпочтение вторым дешёвым вариантам с целью изучения их эффективности:
Как эпсилон-жадный метод направляет пользователя между тестируемыми предположениями: 20% рандомный выбор (как А/Б-тестирование), 80% выбор текущего лучшего варианта («жадность»)
Изображение ниже иллюстрирует эпсилон-жадный метод
:
Способ эпсилон-жадного метода имеет достоинства и определённые недостатки. Среди преимуществ способа:
1. Легкость в применении
2. Высокая эффективность как правило
3. Эффективность способа не зависит от сезонности
Из недочётов способа направляться выделить:
1. Изменчивость стратегии
2. Открытый вопрос: стоит ли уменьшать период изучения со временем?
Другие бандитские методы
Другие бандитские методы решают те же неприятности иными дорогами. Среди них:
1. Верхний доверительный предел
2. Способ выборки Томпсона
3. Байесовский бандитский метод
Все эти способы пробуют отыскать совершенный баланс между длительностью периода изучения/сбора данных и использования на практике взятых данных в опыте (исполнением действий, основываясь на актуальных информации о лучшем выборе).
«К сожалению, как и при дискуссии между приверженцами байесовского метода и приверженцами частных теорий возможностей, наверное, что это очередной вопрос, в котором научное сообщество зайдет в тупик. В компании Conductrics мы используем и тестируем пара различных бандитских методов. Мы желаем быть уверенными, что для чего бы не употреблялся бандитский метод, он будет устойчивым к динамичным данным.
Это значит, что какой бы из способов мы не применили (метод верхней доверительной границы, Томпсона либо подход Больцмана), мы неизменно частично задействуем эпсилон-жадный метод, дабы убедиться, что совокупность не через чур рано обращается к малоэффективным вариантам.
Выбирая рандомную подгруппу, мы кроме этого можем применять полученные эти с целью проведения мета А/В-теста, что продемонстрирует клиенту подъем конверсии при применении бандитского способа и таргетирования»,
— говорит Мэтт Гешофф.
Оптимизация конверсии: из-за чего автомобили ни при каких обстоятельствах не заменят маркетологов?
В то время, когда применять «бандитские методы»?
Во многих случаях «бандитские методы» дают хороший итог. Но при наличии конкретного предмета изучения, на протяжении которого нужно определить эффективность используемой методики, и кроме этого имеется некая определенность относительно решения задачи, то стандартное А/В тестирование станет лучшим вариантом.
Мэтт Гершофф рекомендует использовать «бандитский метод», в случае если вопрос стоит вправду в качественной оптимизации сайта, а не в несложном понимании, какой вариант трудится лучше.
К примеру, данный способ лучше срабатывает в кратковременных циклах тестирования и — что парадоксально — при долговременном тестировании также.
Кратковременные тесты
«Бандитские методы» подходят для кратковременных тестов по понятным обстоятельствам — использование стандартного А/В-теста не покинуло бы времени на использование на практике взятых данных. Они разрешают изменять движение тестирования на основании взятых результатов в реальном времени и стремительнее направлять трафик на лучшую версию сайта. Рекомендуется постоянно применять их в случаях с ограниченными временными ресурсами как на изучение, так и на использование на практике.
Вот конкретные обстановки, оптимально подходящие для кратковременного тестирования.
1. Заголовки
Заголовки — лучший объект изучения для «бандитских методов». Для чего использовать хороший сплит-тест для заголовков, в случае если к тому времени, в то время, когда вы определите, какой вариант лучше, актуальный момент для этого заголовка уже пройдет? Новости характеризуются маленьким циклом судьбы, а «бандитские методы» скоро выяснят, какой заголовок действеннее.
Блоггер и эксперт согласно данным в Wingify Крис Стуккьо (Chris Stucchio) приводит подробный пример.
Главред газеты определит об убийстве. Времени на размышления нет, журналист обязан выяснить, какой из двух заголовков лучше: «Труп обнаружен у стриптиз бара» или «Обезглавленное труп найден у топлес-бара»:
Игра слов в заголовке об убийстве
Выбор очевиден, но сейчас это алгоритмический выбор, а не прихоть редакции.
2. Кратковременные кампании и промо-акции
Подобно заголовкам, вы очень многое утратите, дав предпочтение А/В-тестам, в случае если ваша кампания вычислена всего на семь дней. Вам очевидно не захочется экспериментировать с половиной вашего трафика — до тех пор пока вы получите точные результаты, кампания подойдет к концу, и не останется времени на применение успешных вариантов.
Это в особенно касается торжественных и сезонных акциях. Стефан Павлович (Stephen Pavlovich) из Conversion.com рекомендует бандитские методы для кратковременных кампаний:
«Сплит-тестирование безтолку для кратковременных кампаний. Если вы проводите тесты на коммерческом сайте к Тёмной Пятнице, А/В-способ не совсем практичный — вы сможете получить ценную информацию лишь к концу дня. Наоборот, «бандитский» тест привлечет больше трафика на более действенную версию — а это, со своей стороны, поднимет прибыль».
Сплит-недостатки заголовков: и тест преимущества
Долговременное тестирование
Страно, но «бандитские» тесты кроме этого действенны в долговременной возможности и для постоянного тестирования. Как говорит Стефан Павлович:
«А/В-тестирование не подходит для долговременных тестов — в частности, в случаях, в то время, когда условия теста всегда меняются. К примеру, дабы выяснить оптимальный порядок демонстрации ТОП-5 статей на новостных сайтах, «бандитские методы» подойдут оптимальнее . направляться лишь настроить метод один раз.
Компания Яху! опубликовала результаты аналогичного изучения по рекомендациям контента при помощи бандитского метода еще в 2009 году».
Имеется пара примеров, оптимально подходящих для долговременных тестов.
1. Настроить и забыть (масштабная автоматизация)
Так как «бандитские методы» перенаправляют трафик на более действенные предположения, вы приобретаете ответ с минимальными рисками для долгой оптимизации. Мэтт Гершофф растолковывает это так:
«Бандитские методы» используются для масштабной автоматизации. Скажем, вы желаете всегда оптимизировать пара опций, бандитские методы становятся инструментами для частичной автоматизации процесса с минимальными рисками, избавляя вас от дорогостоящих в реализации, но малоэффективных трансформаций».
Тон Весселинг, основатель компании Testing Agency, упоминает, что «преступники» превосходно подходят для тестирования страниц с высоким трафиком по окончании изучения способом А/В-тестирования:
«Залейте в метод пара вариантов и запустите его. Предпочтительнее применять контекстуальный «бандитский метод». Как мы знаем, что не существует страницы, совершенной удовлетворяющей всех пользователей.
Страницы создаются в соответствии с сегментами целевой аудитории. «Бандитский метод» выяснит оптимальную версию для каждого сегмента целевой аудитории».
2. Таргетинг
Второй пример для долговременного применения «бандитского метода» — таргетинг, оптимально подходящий для показа рекламных объявлений и определённого контента в пользовательских приложениях. Мэтт Гершофф поясняет:
«В конечном итоге оптимизация в основном определяет проблему, чем ищет ее ответ. Мы желаем определить правила, снабжающие каждому человеку лучший пользовательский опыт. Эту проблему мы можем решить при помощи контекстуального «бандитского метода».
Он разрешит избежать характерных неточностей, которые связаны с неоднородностью целевой аудитории. «Бандитский метод» решает эту проблему, используя полученные на протяжении изучения правила таргетинга к неспециализированному сегменту пользователей, наряду с этим ищадругие правила для более специфичных пользователей».
Тон Весслинг (Ton Wesseling), основатель Testing Agency, кроме этого указал, чему возможно обучиться на протяжении применения контекстуального бандитского метода:
«Использование результатов сплит-теста в контекстуальном «бандитском методе» для сегментов, информацию о которых взяты на протяжении изучений, показывает, какой тип контента трудится действеннее с каждым сегментом целевой аудитории. Это полезные эти — вы имеете возможность их применять для оптимизации пользовательского опыта. Это возможно реализовать и по окончании А/В-тестирования, но «бандитский метод» даст результаты стремительнее».
3. атрибуция и Оптимизация
Бандитский метод используется для одновременной оптимизации многих факторов. Коммуникация между «преступниками» в методе гарантирует слаженную работу совокупности над разными частями мировой проблемы и максимализацию результатов. Мэтт Гершофф приводит следующий пример:
«Вы имеете возможность разглядывать обучение способом ошибок и проб как бессчётных преступников, передающих друг другу полученные данные в режиме реального времени и кооперирующихся для определения наилучших действий. К примеру, клиент разместил один «бандитский метод» на домашнюю страницу сайта и второй — в совокупность автоматизированной телефонной связи. Основываясь на количестве продаж по телефонному каналу, преступники передают друг другу эти, дабы обеспечить слаженную работу над мировой проблемой».
Экзистенциальное тестирование: 50% элементов вашего сайта ненужны, но какие конкретно?
Потенциальные недочёты «бандитского тестирования»
Перед тем как приступить к «бандитскому тестированию», направляться разглядеть недочёты способа. Во-первых, многорукие преступники сложны в реализации. Как говорит Шана Карп (Shana Carp) на Growthhackers.com:
«Многрукие преступники» сложнее в техническом замысле, если вы не являетесь специалистом в этом вопросе. Функциональные затраты сводятся к зарплатетрех инженеров — эксперта по обработке и анализу данных, толкового программиста, талантливого создать код на основании того, что говорит эксперт по анализу данных, и одного разработчика. (Не смотря на то, что функции последних двух может делать одинаковый человек вашей команды). Очень сложно отыскать аналитика с хорошим опытом в программировании»
Второй фактор — это период, за что вы приобретаете статистически значимые эти. Как подчеркивает Парас Чопра (Paras Chopra) из VWO: «Существует обратная связь в это же время, как не так долго осталось ждать вы добьетесь статистически значимых результатов, и среднестатистическим уровнем конверсии на протяжении кампании».
Крис Стуккьо кроме этого разъяснил феномен, что он назвал проблемой субботы/вторника. В случае если совершить тесты с двумя заголовками:
1. «Радостный понедельник! Кликни, дабы приобрести на данный момент!»
2. «Какой прекрасный день! Кликни, дабы приобрести на данный момент!»,
запуск бандитского метода в понедельник предположительно продемонстрирует следующие результаты:
- Понедельник: 1000 показов «Радостный понедельник», 200 конверсий; 1000 показов «Прекрасный день», 100 конверсий.
- Вторник: 1900 показов «Радостный понедельник», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
- Среда: 1900 показов «Радостный понедельник»», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
- Четверг: 1900 показов «Радостный понедельник», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
Результаты показов «Радостный понедельник» значительно снижаются с 20% в понедельник до 5% в течении оставшегося времени тестирования, что дает средний уровень конверсии 7,1%.
Низкий уровень конверсии варианта «Прекрасный день» разъясняется тем, что бандитский метод направлял солидную часть трафика на «Радостный понедельник». Потребуется большое количество упрочнений, дабы исправить и выровнять полученные результаты. (Принципиально важно! А/В-тесты сталкиваются с такой же проблемой при анализе динамичных данных. Как раз исходя из этого нужно тестировать в течении всего запланированного периода.)
Крис кроме этого отмечает, что «бандитские методы» неэффективны для тестирования громадных количеств электронных сообщений:
«Одно крайне важное замечание — массивы электронных сообщений не поддаются действенному анализу бандитскими методами. Неприятность с анализом email-сообщений в том, что конверсия может состояться через продолжительное время по окончании показа сообщения. Вы имеете возможность рассылать тысячи сообщений, перед тем как заметите конверсию.
Это опровергает предположение, лежащее в базе многих бандитских методов».
82% маркетологов не могут тестировать. И вот из-за чего
Заключение
В общем, оптимизация по результатам «бандитских тестов» может дать хорошие результаты в сравнении с А/В-тестированием, но эта методика требует более организованного подхода. Вы руководите процессом принятия ответов в совокупности. Совокупность сильна так, как сильны ее не сильный факторы, каковые в этом случае определяют ввод данных в совокупность и делают неосуществимым управление процессом принятия ответов.
В случае если ваша команда смогла совладать с данной проблемой, то это громадное достижение. Но в случае если вам не удастся совладать с организацией процесса, тогда «бандитское тестирование» создаст еще громадные неприятности. Обе техники имеют место быть, а надеяться только на одну из них свидетельствует значительно ограничить оптимизацию.
Вспоминаете о оптимизации конверсии лендинга? Ознакомьтесь с отечественной разработкой по повышению бизнес-показателей
Высоких вам конверсий!
По данным: conversionxl.comimage source kojotisko
Случайные статьи:
- Как повысить вовлечение посредством интерактивности?
- Маркетинговая кампания perrier, убедившая американцев платить за воду
Повышение конверсии на сайте. AB тестирование сайта. Олег Рудаков
Подборка похожих статей:
-
7 Губительных мифов об оптимизации конверсии
Каждая сфера деятельности окружена множеством мифов — и оптимизация конверсии не есть исключением. Это особенно характерно для всего, что связано с…
-
Оптимизация конверсии – свод правил
Источник изображения Процесс оптимизации конверсии складывается из творческой (создание вариантов для тестирования) и научной частей (обработка и анализ…
-
Методология оптимизации конверсии, основанная на дисциплине
Подход, основанный на дисциплине, разрабатывался в течении последних 12 лет при сотрудничестве с более чем 300 компаниями. Эта методика разрешила…
-
Эмпатическое проектирование как метод оптимизации конверсии
Как повысить конверсию? Кроме базисной доработки юзабилити, согласование вашего дизайна и рекламного сообщения с мотивацией ваших пользователей — хорошая…