Подходит ли вам мультивариантное тестирование?

Posted on by riasevastopol

Мультивариантное тестирование (multivariate testing) считается более идеальным маркетинговым инструментом, чем классический сплит-тест, поскольку оно разрешает максимизировать конверсию любого ресурса с высокими показателями трафика. Теоретически, не существует предела количества комбинаций, каковые смогут быть протестированы, что и формирует замечательную альтернативу классическому тесту.

Преимущества этого вида опыта и обосновывать не требуется, все плюсы лежат на поверхности. Но мультивариантное тестирование не так, как думается на первый взгляд. Думаете, нужно придумать пара случайных комбинаций, закинуть их в «блендер» и тест готов?

Нет. Прежде, чем разрабатывать догадки и ввязываться в эту процедуру, поразмыслите, а стоит ли игра свеч?

Просматривайте кроме этого: Мультивариантное тестирование Vs сплит-тесты: что лучше?

Что такое мультивариантное тестирование

Многовариантное тестирование — способ для проверки догадок, в котором изменяются пара переменных. Оно отличается от А/B-тестов, каковые предполагают анализ и одновременную проверку только одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы имеете возможность протестировать неограниченное количество переменных, к примеру, версии А, B, С, D И Е сходу.Подходит ли вам мультивариантное тестирование?

Для чего это необходимо?

В случае если сплит-тестирование в большинстве случаев употребляется для анализа одного значительного трансформации, то многовариантное — для одновременного анализа множества элементов на веб-странице.

Одним из самые популярных элементов для тестирования по праву считается заголовок страницы. Если он будет релевантным вашим целям и запросам аудитории, то вы сможете существенно расширить коэффициент конверсии лендинга.

Предположим, вы решили протестировать заголовок и придумали еще пара вариантов, дабы совершенно верно убедиться, что существующий сейчас — лучший.

Мы меняем только один элемент (одна переменная), но предоставляем последовательность разных вариантов этого элемента.

Потом предположим, что к нам пришла мысль улучшить целевую страницу через трансформацию основной картины (hero image). Другими словами, мы решили проверить исходную версию страницы, изменяя уже две переменные — заголовок и картину.

Изображение — это одна переменная, а заголовок — вторая. Технически, это A/B-тест с двумя переменными. В чем его минус?

В случае если один из вариантов окажется более результативным, мы ни при каких обстоятельствах не определим, что именно оказало громаднейшее влияние на повышение конверсии — изображение либо заголовок.

Дабы тщательнее протестировать все комбинации, необходимо создать пара вариантов для каждой переменной.

Приобретаем две переменные с двумя вариантами — это пример многовариантного тестирования. Итого: четыре варианта страницы на базе двух переменных (заголовок и картинка), любая из которых имеет два варианта.

Еще не запутались?

Многовариантный тест — это проверка нескольких вариантов и нескольких переменных на лендинге либо сайте.

Текущий вариант лендинга.

Подберем два дополнительных варианта изображения, дабы в итоге оказалось три (с уже существующим) — и сделаем то же самое с заголовком.

Тут представлены три изображения.

Вот три заголовка, среди них и существующий:

  • Облегчение бремени задолженности: способ, что трудится
  • Высвободите себя от бремени долга
  • Избавиться от долгов

Мультивариантный тест разрешит нам проверить все вышеописанные комбинации. Даны две переменные с тремя вариантами любая, в итоге мы приобретаем девять вероятных комбинаций: 3 изображения * 3 заголовка = 9 комбинаций.

Чтобы выяснить, как соотносятся варианты и переменные, приведем еще один пример. Интернет-компании уверены в том, что визитёры значительно чаще не завершают процесс оформления заказа по одной из трех обстоятельств:

  • Не видно политики возврата (return policy)
  • Приходится создавать аккаунт
  • На ресурсе не обозначены знаки безопасности/доверия

Казалось бы, все ходы и эти запросы очень обоснованы для вебмагазинов, но время от времени они смогут трудиться против вас. Единственный метод выяснить, что же как раз уводит визитёров со страницы — совершить тест.

какое количество переменных окажется в этом случае? Три: политика конфиденциальности, символы и регистрация безопасности. Для переменных имеется всего два взаимоисключающих варианта: отображение элемента на странице либо его отсутствие.

Это 2 х 2 х 2, либо восемь комбинаций. Запомните данный пример, мы будем применять его потом при разборе изюминок мультивариантного тестирования.

Просматривайте кроме этого: 3 главных отличия сплит- и мультивариантного тестирования

Многовариантное тестирование безтолку как правило?

Многовариантный тест предполагает диагностику всех вариантов и возможных комбинаций с учетом одной либо нескольких переменных. В случае если совершить тест с вышеприведенными вариантами вебмагазина, то он будет смотреться так.

Вариации умножьте на количество тестов, любой из которых требует много конверсий и трафика. Имеется большое количество обстоятельств, по которым не следует любой раз выбирать многовариантное тестирование для данного бизнеса, но основных всего пять:

  • Дефицит времени либо трафика
  • Сумасшедшие (и нежизнеспособные) комбинации
  • Растрата ресурсов
  • Отсутствие информации о причинах и реальных предпочтениях пользователя его выбора
  • Тест для теста.

Разберем каждую из них более детально.

1.Многовариантные тесты занимают большое количество времени и/либо требуют большое количество трафика

Трафик на любой тест — это, казалось бы, маленький процент от общего числа визитёров. Но какое количество тестов в следствии вам нужно будет провести? Если не имеете возможность похвастаться высокими показателями трафика, то потребуется больше времени, дабы достигнуть статистической значимости — и вы не сможете отбросить заведомо проигрышные варианты, пока не достигнете данной точки.

Статистическая значимость в этом случае серьёзна, т.к. лишь при ее достижении возможно оставаться уверенным, что результаты теста «не подкачают» в будущем, а выбранный вариант окажется лучшим по всем объективным показателям и разрешит расширить конверсию. Помимо этого, статистическая значимость измеряется числом успешных (т.е. завершенных) операций/заказов/сделок. К примеру, компания MXToolbox предлагает бесплатные инструменты для менеджеров и другое.

На их сайте кроме этого представлены платные тарифные замыслы с расширенными функциями.

Ресурс MXToolbox приобретает миллионы визитёров ежемесячно, и многие из них потом останавливаются на платных одолжениях. Но кроме того с миллионами посещений количество сделок все же не хватает громадно, дабы оправдать многовариантное тестирование. И обращение не только о трафике, но и о израсходованном времени (время от времени от регистрации до закрытия сделки проходят дни/семь дней/месяцы!).

2. Варианты размножаются как зайцы

Как вы уже убедились, кроме того три переменных с двумя вариантами стали причиной восьми вариациям, и добавив знаки безопасности, мы возьмём до шестнадцати комбинаций. Другими словами трафик для каждого варианта будет снижен до 6.25%.
Принципиально важно то, что все больше вариаций свидетельствует больше погрешностей и ошибок из-за статистики.

В сплит-тесте с двумя вариациями возможно достигнуть статистической значимости за срок в 14 дней. Но в тесте с шестью вариациями, быть может, нужно будет работать в течение 30 дней, дабы достигнуть той же статистической значимости.

Сейчас представьте многовариантный тест с десятками вариаций. Чтобы избежать все возрастающей погрешности, приходится «загонять» больше трафика, дабы обеспечивать, что полученные результаты не сгенерированы случайным образом, а вправду имеют сокровище.

Более того, в конечном счете окажется, что большая часть этих вариантов кроме того и не стоило испытывать. В приведенном выше примере все восемь вариаций так же, как и прежде имеют суть в любом из вероятных сочетаний. Но при добавлении некоторых вариаций вы рискуете взять какой-то совсем сумасшедший коктейль.

Представьте себе такую картину: вы отправились с сыном в поход, но ночью внезапно начался ливень, вашу палатку заливает водой, и вы судорожно ищете на планшете, куда бы оправиться переночевать и заодно поужинать. Пролистав страницу поисковика с результатами, вы кликаете на один отель. Заголовок на сайте гласит: «Шведский стол без ограничений». Думается, хотя бы покушать тут возможно.

Потом вы прокручиваете страницу и видите двух радующихся людей на стойке регистрации, но нет фотографий номеров. Еще ниже расположена кнопка призыва к действию «Забронируйте массаж сейчас».

Это что, какая-то шутка? Как бы необычно это ни звучало, но данный пример — комплект самых выигрышных комбинаций мультивариантного тестирования. Вы рискуете взять те варианты, каковые завлекают внимание визитёров, содействуют повышению конверсии, но совместно они создают какую-то какофонию, как кеды для бега в сочетании с хорошим костюмом.

Что же делать? Имеется два варианта:

  • Начать терять клиентов, предлагая им всевозможные машинально сгенерированные варианты (не рекомендуется).
  • Израсходовать некое время и убедиться, что любая из комбинаций жизнеспособна.

Второй вариант потребует больше ресурсов и ограничит творческие идеи, но и в этом случае вам стоит не забывать о том, что необходимо больше трафика, дабы проверить кроме того оставшиеся.

Со сплит-тестированием вы выбираете сами, какие конкретно тесты проводить, а какие конкретно исключить. Имеете возможность возразить, что создание каждой вариации заберёт через чур много времени, а многовариантный тест — это несложный метод проверить все варианты сходу. Но готовы ли вы рискнуть клиентами?

Стоит поразмыслить два раза.

Просматривайте кроме этого: 6 наиболее значимых правил сплит-тестирования

3. Утрата ресурсов

оптимизация и Тестирование должны сопровождать развитие любого интернет-ресурса. Разработчиков будоражит возможность поймать успех за хвост, совершить маркетинговый прорыв либо открытие, которое поднимет прибыль компании в разы. Звучит привлекательно, не правда ли?

К сожалению, в жизни прийти к такому результату непросто: те варианты, каковые будут отставать от общей динамики завершения сделок, угрожают вам утратой прибыли (формула несложная: меньше сделок = меньше денег).

Любой тест, A/B либо многовариантный, имеет встроенную плату за проведение опыта. В совершенстве, мы желали бы, дабы все проигрышные варианты «отваливались» своим чередом. Но статистически имеется шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости.

Но в случае если кажущийся проигрышным вариант обходится вам во большое количество конверсий, его лучше остановить прежде, чем он достигнет статистической значимости. Так вы сможете сократить затраты на проведение теста и направить больше трафика на другие, более жизнеспособные вариации. Помимо этого, в следствии на сам тест уйдет меньше времени, т.к. статистическая значимость будет достигнута стремительнее.

А вдруг тесты выполняются стремительнее, то возможно позволить себе проводить их более довольно часто.

Ларс Лофгрен (Lars Lofgren), директор по формированию компании KISSmetrics, подчеркивает: необходимо не забывать, что чем продолжительнее вы проводите тест, тем выше возможность, что издержки на его проведение будут только накапливаться. Если вы ожидаете через чур продолжительно, то машинально отказываетесь от важных побед, которых возможно достигнуть, запустив сейчас другие тесты.

4. Из-за чего — это серьёзный вопрос

Оптимизация будет действенной, если вы определите, из-за чего ваши клиенты ведут себя так, как ведут. Мультивариантный тест окажет помощь отыскать лучшие сочетания с позиций увеличения конверсии, но что нового вы определите так о собственных клиентах?

При исполнении всех тестов в одно время вы упускаете процесс понимания собственной аудитории. Возвратимся к примеру из самого начала статьи. Предположим, отечественный многовариантный тест продемонстрировал, что это была выигрышная комбинация:

Превосходно, выигрышную комбинацию нашли, время радоваться, но Вы понимаете, Из-за чего она стала выигрышной? Какой вывод возможно сделать из взятого результата? Какой элемент был самым серьёзным для визитёров?

Политика возврата? Удаление регистрации? Добавление знаков безопасности?

И из-за чего по большому счету все это принципиально важно? Ответы на эти вопросы разрешат в будущем стремительнее и легче разрабатывать гипотезы и тесты. Знай мы совершенно верно, что добавление знаков безопасности было самым значимым для пользователей, то имели возможность улучшить показатели конверсии, разместив их и на вторых страницах.

Но мы этого не знаем точно.

В то время, когда вы приобретаете какую-то данные через опыт, то с уверенностью имеете возможность применить эту концепцию к вторым страницам сайта либо ресурсам. Если бы мы знали, что политика возврата есть одним из главных факторов, повлиявших на решение визитёров, то добавили бы данный элемент везде, кроме того в рекламные сообщения. Но это только догадка, правдоподобность которой мы так и не узнаем.
Не следует разглядывать тестирование только как источник дополнительных доходов. Любой тест способен дать вам полезную данные для понимания ваших визитёров. Но при с мультивариантным тестированием данный вопрос остается открытым.

Просматривайте кроме этого: Сплит-тестирование: пошаговое управление по формированию догадки

5. Тест для теста

Многовариантные тесты соблазнительны. Они смогут побудить вас на тестирование многих элементов легко вследствие того что вы имеете возможность это сделать. Но сам факт придумывания нескольких запуска и гипотез теста на их базе еще не гарантирует вам никакого результата.

В полной мере быть может, что все ваши догадки ни на чем не основаны.

Тестирование в науке проходит по следующему методу:

1. Изучение конкретной неприятности.
2. Разработка догадок.
3. Выбор самая вероятной догадки.
4. Разработка тестов для проверки догадок.
5. Запуск опыта в контролируемой среде.
6. Оценка результатов.
7. Разработка новых догадок, основанная на взятой информации.

Опасность многовариантных тестов содержится в том, что вы обычно пропускаете шаги 3, 4 и 7. По сути, вы не проводите всестороннего изучения неприятности, не разрабатываете обоснованные догадки, а просто бросаете итоги мозгового штурма в «блендер», включаете его и ожидаете, что же случится.

Эндрю Андерсон сообщил об этом ходе: «Вопрос не в том, что вы имеете возможность сделать, а в том, что сделать нужно».

Легко вследствие того что вы имеете возможность проверить огромное количество вариаций, не следует проводить тест. Где гарантия, что он окажется действенным, а инвестиции окупятся? Если вы проводите тест для теста, то тратите время, ресурсы и теряете потенциальную прибыль.

Что бы вы ни делали, постоянно старайтесь оптимизировать процесс: приобретать максимально точные результаты за меньшее количество ресурсов.

тестирование и Машинное обучение

Многовариантное тестирование не следует на месте. Сейчас для его проведения начинают применять неестественную нейронную сеть (neural network). Это математическая модель, и ее программное воплощение, выстроенные по принципу функционирования и организации биологических нейронных сетей — сетей нервных клеток живого организма.

Сеть является системойсоединенных и взаимодействующих между собой несложных процессоров, любой из которых приобретает и отправляет сигналы вторым процессорам. С позиций машинного обучения, нейронная сеть представляет собой частный случай способов распознавания образов, дискриминантного анализа, способов кластеризации и т. п.

Этот метод разрешает минимизировать статистические погрешности, приобретать более правильные результаты — более того, уже нет необходимости контролировать все вероятные комбинации. Эти эволюционные методы разрешают уменьшать неэффективные варианты в пользу более возможных победителей. Данный подход содействует получению результатов с меньшим трафиком.

Посредством машинного обучения сайты, каковые пока не генерируют большое количество трафика, смогут кроме этого проводить многовариантное тестирование.

Просматривайте кроме этого: Методы машинного обучения в интернет-маркетинге

Стоит ли по большому счету проводить мультивариантные тесты?

Имеется случаи, в то время, когда применения многих переменных не избежать, и тогда лучше обратиться к этому способу. Сам принцип мультивариантного тестирования заставляет посмотреть на лендинг либо страницу сайта как на совокупность, в которой все элементы связаны.

Одновременно с этим вы имеете возможность тестировать только выбранный комплект элементов. Мультивариантное тестирование требует времени, но оптимизация иногда не терпит стремительных и необоснованных ответов. Крис Говард (Chris Goward) из WiderFunnel согласится, что компания проводит один мультивариантный тест на 10 сплит-тестирований.

Высоких вам конверсий!

По данным: conversionsciences.com

Случайные статьи:

Какое домашнее животное тебе подходит? Тест с прикольным котом Джемом! 🐈


Подборка похожих статей:

riasevastopol

More Posts