Ответить на вопрос, вынесенный в заглавие статьи, легко и сложно в один момент. С одной стороны, сплит-тесты по умолчанию подходят практически всем маркетологов, и они значительно более распространены при оптимизации конверсии.
Но постоянно остаётся место и для мультивариантных тестов (MVT), каковые смогут значительно увеличить ваши показатели и добавить ценности продукту. Но перед тем, как вдаваться в нюансы, коротко разглядим различия между подходами.
Что такое мультивариантное тестирование?
MVT — это, в некоем смысле, более сложная версия сплит-теста. Классические А/В-тесты достаточно прямолинейны: маркетологи разрабатывают новую версию элемента и дробят трафик пополам между контрольным (А) и контролируемым (В) вариантами.
Помимо этого, сплит-тест разрешает проверить три и более вариации (A/B/n-тестирование). К примеру, если вы запускаете опробование на 5 предположений, то на каждую из них придется по 20% трафика. Вот как выглядит A/B/C/D-тест:
Сплит-тесты в большинстве случаев содержат меньше вариаций, чем MVT, но с более радикальными трансформациями. Тогда как мультивариантные кампании запускаются на внушительное число предположений, но с маленькими различиями.
Ларс Нильсен (Lars Nielson) из Sitecore обрисовывает процесс так:
«Мультивариантное тестирование выступает против классических научных представлений. MVT — это процесс тестирования более одного компонента сайта в настоящей обстановке (контексте). По существу, это пара A/B/n-тестов, запущенных в один момент на одной странице».
- 3 главных отличия сплит- и мультивариантного тестирования
Кейс по A/B/n-тестам
Так что же вам применять: MVT либо A/B/n? В случае если у вас достаточно трафика, то примените оба инструмента. Они равноценны по важности, не смотря на то, что и помогают пара различным целям. Особенности сплит-тестирования:
- Разрешают контролировать более радикальные трансформации в дизайне;
- Занимают меньше времени, чем MVT;
- Для каждого трансформации возможно установить инструменты аналитики и глубоко отслеживать их (к примеру, активность мыши, телефонные звонки и т. д.);
- Отдельные элементы сотрудничества смогут быть использованы для формирования и изучения поведения аудитории (customer theory);
- Сплит-тесты, в большинстве случаев, приносят больше прибыли (так как вы чаще тестируете значительные трансформации);
- А/В-кампании стремительнее показывают большие результаты;
- Так как отличие между вариациями более радикальна, то легче выяснить, какая страница действеннее.
Так, сплит-тесты применяют силу громадных трансформаций, а не узких, чуть уловимых корректив, наподобие настройки оттенков цвета либо формулирования заголовков, как это часто бывает в MVT. Большая часть маркетологов в большинстве случаев начинают работу с А/В-тестов, по причине того, что с ними вероятны стремительные и большие удачи.
Янив Навот (Yaniv Navot), директор по интернет-маркетингу в Dynamic Yield, подчернул, что MVT по большей части употребляется для проверки маленьких трансформаций. Он кроме этого заявил, что сплит-тесты лучше подходят для проверки последовательности страниц и нескольких сценариев событий:
«Мультивариантное тестирование — это выговор на небольших элементах, слабо воздействующих на остальные либо не воздействующих вовсе. Вместо этого маркетологи должны сосредоточиться на ведении программных и динамичных сплит-тестов, разрешающих взять сегментированный опыт нескольких целевых групп по всему сайту. Этого нельзя достигнуть через классические MVT-тесты».
Второй момент, вызывающий беспокойство при мультивариантном тестировании — количество трафика.
- Как действенны сплит-тесты для стартапа?
Как много трафика приходит к вам?
Из-за множества дополнительных вариаций MVT-тесты требуют громадного количества трафика. Либо, хотя бы, большого коэффициента конверсии. К примеру, 3х2 тест (другими словами, проверка 2 различных предположений трех элементов дизайна) потребует для того чтобы же трафика, как и сплит-тест на 9 вариаций.
Причем 3х2 — это обычный MVT-тест.
В полном факторном (full factorial) мультивариантном тестировании ваш трафик делится поровну между всеми комбинациями предположений, что приумножает количества трафика, нужные с целью достижения статистической достоверности. Как говорит Леонид Пекелис (Leonid Pekelis) аналитик Optimizely, это повышает длительность тестов:
«Одно из наиболее значимых требований: ваш MVT-тест обязан длиться достаточно продолжительно, чтобы получить большое количество посещений и найти максимум вероятных нюансов сотрудничества».
Клэр Во (Claire Vo), сооснователь Experiment Engine, кроме этого говорит, что MVT-тесты сложнее из-за ресурсов и дополнительного трафика, требующихся для них.
«Мультивариантное тестирование требует намного больше инвестиций в технологии, дизайн, настройки, анализ данных. Помимо этого, полнофакторный MVT-тест заберет огромную часть вашего трафика (кроме того в случае если его количество внушителен и без того). Исходя из этого мультивариантные тесты станут громадным опробованием для маркетингового бюджета — из-за времени, людей, ресурсов, и внутреннего обслуживания процесса».
Руководствуйтесь правилом: в случае если ваш трафик меньше, чем 100 000 неповторимых визитёров/месяц, то лучше запустите сплит-тестирование. Единственным исключением будет высокая конверсия лендингов и лидогенерирующих страниц (от 10 до 30%). Помимо этого, если вы — стартап на ранней стадии, все еще трудящийся над customer development, то вам еще рано приступать к MVT.
С вашими исходными данными и ресурсами не окажется определить большое количество. А рвение успеть все и сходу не позволит понять поведение целевой аудитории достаточно глубоко. Однако, существует пара хороших кейсов по мультивариантным тестам.
- Как трудятся сплит-тесты: памятка для гуманитариев
В то время, когда стоит применять MVT-тест?
Такие тесты необходимы для измерения эффектов сотрудничества (interaction effects) между различными свободными элементами — это разрешает заметить, какая комбинация трудится оптимальнее . Тон Весселинг (Ton Wesseling), основатель Testing Agency, говорит следующее:
«В то время, когда применять MVT? Имеется лишь одна обстоятельство — в то время, когда вам необходимо определить подробности сотрудничества. Сплит-тест с несколькими вариантами не позволит добиться этого.
Новый выигрышный заголовок может остаться незамеченным, по причине того, что в фокусе теста — второй элемент. Если вы весьма скоро желаете осознать, какие конкретно элементы вашей страницы самый действенны, совершите MVT с этими элементами — и без них».
Парас Чопра (Paras Chopra) из VWO объявил, что применяет мультивариантное тестирование для оптимизации нескольких элементов, не ожидая наряду с этим стремительных результатов. Скорее, постепенного улучшения тестируемых элементов:
«Я предпочел бы MVT при оптимизации с бессчётными переменными, но не сохраняя надежду на резкий рост показателей, ожидаемый в сплит-тестах. Думаю, верный путь — это А/В-тесты для значительных трансформаций (к примеру, радикальный редизайн). Сплит-тесты возможно проводить с MVT для предстоящей оптимизации заголовков, призывов к действию и т. д.»
Преимущества мультивариантного тестирования
MVT — красивый инструмент для оптимизации победившего в сплит-тесте варианта. Тогда как А/В не дает значительной информации о сотрудничестве переменных на одной странице, MVT делает это. Так вы имеете возможность содействовать редизайну, заметив, в каких местах страницы разные элементы оказывают громаднейшее влияние. Это особенно полезно при разработке дизайна лендингов.
К примеру, информацию о влиянии формы определенного элемента смогут быть использованы в предстоящих кампаниях и на новых целевых страницах, даже в том случае, если контекст элемента изменился.
Эндрю Андерсон (Andrew Anderson), начальник департамента оптимизации в Malwarebytes, пояснил, что MVT употребляется для обнаружения самого влиятельного элемента на странице, а после этого увеличения его эффективности:
«Обращение не про любопытство, дескать «мы желаем заметить, что будет с 3 вариантами текста, 4 изображениями и мелким СТА». Вопрос в том, что ответственнее на странице: изображения, тексты либо призывы к действию. И дабы узнать максимально влиятельный элемент в максимально удачной позиции, вы контролируете десятки предположений — и определите что-то серьёзное.
Сплит-тесты ни при каких обстоятельствах не смогут поведать вам о значении элементов, а MVT смогут, если они верно совершены. Анализ ANOVA, либо дисперсионный анализ*, разрешает количественно выразить относительное влияние поведения одного фактора по отношению к вторым».
Так, благодаря мультивариантным тестам вы определите, какие конкретно элементы на ресурсе сыграют важную роль в достижении ваших целей.
Сейчас несколько слов об ANOVA. Дисперсионный анализ, либо ANOVA, по определению Википедии: «способ в математической статистике, направленный на поиск зависимостей в экспериментальных данных путём изучения значимости различий в средних значениях».
При сравнении двух образцов мы можем применять t-тест*, но дисперсионный анализ используется для сравнения средних значений большего количества образцов.
Глубже с концепцией дисперсионного анализа вы имеете возможность познакомиться в этом громадном видео-гайде:
* t-критерий Стьюдента — неспециализированное наименование для класса способов статистической проверки догадок (статистических параметров), основанных на распределении Стьюдента. самые частые случаи применения t-критерия связаны с проверкой равенства средних значений в двух выборках.
Но требования проведения и каковы условия успешных MVT-опробований?
Сплит-недостатки заголовков: и тест преимущества
Как верно совершить мультивариантное тестирование?
Наиболее значимое условие запуска MVT: чем больше трафика, тем лучше. Так, для большой точности при управлении тестом необходимо понимать потребности визитёров и избегать фальшивых срабатываний. Не смотря на то, что многие из распространенных MVT-неточностей не являются неповторимыми для этого инструмента, все же мультивариантный тест придает им некую специфику. Но вы, точно, уже догадываетесь об этих огрехах:
Не хватает трафика;
- Не учитывается шанс увеличения фальшивых срабатываний;
- MVT не употребляется как метод обучения;
- MVT не употребляется в рамках систематизированного подхода к оптимизации ресурса;
1. Не хватает трафика
Мы неоднократно говорили это выше, но повторимся: MVT требует весьма, весьма и довольно много трафика. Дробные факторные опыты смогут смягчить это, но к точности данного способа имеется вопросы.
Повышение потребности в трафике кроме этого ставит вопрос о том, как продолжительно вам направляться проводить тест. Это особенно актуально, если вы пользуетесь MVT как игральными костями — запускаете и ожидаете, что же выпадет. Спойлер: таковой подход неэффективен.
Вы в обязательном порядке должны оценить, как много трафика необходимо для больших результатов. Применяйте специальные калькуляторы, каковые несложно отыскать в сети. Леонид Пекелис (Leonid Pekelis) из Optimizely говорит о методах обойти потребность в безумных количествах трафика, включая дробный факторный способ, что мы обсудим ниже:
«Второй подход к сокращению потребности в визитёрах при мультивариантном тесте — изучить меньше сотрудничеств (к примеру, лишь двухсторонние сотрудничества). В этом окажут помощь такие способы, как дробный факторный опыт. Вы имеете возможность достаточно значительно снизить необходимость в визитёрах, в случае если используете дробный факторный подход вместо полнофакторного, но так вы заметите лишь часть неспециализированной интеракционной картины.
Процесс усложняется достаточно скоро, если вы изучаете разные способы проектирования.
Еще один вариант запуска MVT с маленьким трафиком: запустите полный факторный опыт, легко дабы проверить, что ни одно из трансформаций не взаимодействует между собой в ущерб сайту. Вы осознаете это достаточно скоро, а после этого перейдете к сплит-тестам и заметите, какие конкретно вариации показывают себя действеннее».
Не смотря на то, что Мэтт Гершофф, СЕО Conductrics, говорит, что MVT не всегда требуют больше данных, чем связанный комплект несложных сплит-тестов, он кроме этого уточняет, что за то же самое число обработок, нужных для оценки, и при подобных свободных догадках, косвенно сделанных при запуске отдельных сплит-тестов, MVT потребует кроме того меньше данных. Он продолжает:
«Независимо от типа теста, с которым вы решили трудиться, неизменно имеется два шага: сбор данных и анализ данных. Собирать данные в обоих случаях возможно многомерным, либо полнофакторным, методом, а после этого разбирать эти, допуская отсутствие сотрудничеств (главные эффекты) либо их наличие (мы можем выбрать кроме того степень сотрудничества на основании размерности теста).
Сбор данных при помощи полнофакторного проектирования — хороший способ, по причине того, что мы можем проанализировать его с любой выбранной степенью сотрудничества, включая нулевую. Лишь цена, как минимум в цифровой среде, определяет то, что бы должны иметь больше ячеек в отечественной базе данных для хранения всех комбинаций тестов. В случае если мы собираем эти дробным способом, отечественный анализ будет ограничен изюминками дробно-факторного подхода.
К несчастью, бесплатных завтраков не бывает. Многие, опасающиеся применять главные эффекты MVT из-за недоверия к тестовым сотрудничествам, горячо советуют запускать раздельные сплит-тесты, каковые кроме этого косвенно предполагают отсутствие интеракционных эффектов (независимость) и требуют еще больше данных для оценки».
2. Не учитывается увеличение возможности фальшивых срабатываний
По словам Леонида, самый частая ошибка запущенных MV-тестов — игнорирование увеличения возможности фальшивых срабатываний. Ниже его мысли по этому поводу:
«По существу, стоит применять отдельные сплит-тесты для каждой интеракции. В случае если вам нужно измерить 20 сотрудничеств, а коэффициент обнаружения фальшивых срабатываний образовывает 5%, то вы станете ожидать около одного сотрудничества, которое обнаружится случайно. Существуют хорошие методы подсчета этого показателя, каковые в большинстве случаев требуют внесения в тесты пара корректив, но снова же — вам, в большинстве случаев, пригодится больше визитёров, для получения убедительных результатов».
3. MVT не употребляется для обучения
Оптимизация, по существу, это сбор информации для принятия обоснованных ответов. В этом контексте MVT замечательно подходит как способ обучения. Применять мультивариантные тесты для внесения постоянных проверки и изменений идей — неэффективно, продолжительно, и значительно больше подходит сплит-тестам. Эндрю Андерсон (Andrew Anderson) прекрасно написал об этом в собственной статье:
«Чем меньше вы израсходуете, дабы прийти к результату, тем выше будет ROI. Чем стремительнее вы двигаетесь, тем стремительнее повысите результативность программы и ценность предложения. Но более принципиально важно следующее: сфокусируйтесь на мультивариантных тестах лишь как на способе обучения. MVT растолкует вам, куда направить ресурсы для большой отдачи.
Он высвободит вас от изучения альтернатив инвестирования ресурсов, отсеивая лишние факторы и оставляя только самые ценные и влиятельные варианты. Цель в том, для получения результата, и для данной цели логичнее решиться на один громадный ход, чем делать множество небольших и робких, но более несложных шажков».
4. MVT не употребляется в рамках систематизированного подхода к оптимизации
Помимо этого, многие MVT-неточности исходят от людей, не воображающих четко, как им функционировать, либо имеющих предельно обобщенный замысел. Парас Чопра так выразился на данный счет:
«Самая громадная неточность — в незнании, чего ожидать от MVT. Маркетологи желают отыскать лучшее сочетание трансформаций, либо же определить, какой элемент (заголовок, кнопка) оказывает большое действие?».
Эндрю Андерсон растолковывает сущность данной неточности, говоря, что если вы используете сплит- либо MV-тесты, дабы, какие конкретно идеи трудятся, либо проверить догадки, то это приведет только к персональному оптимуму (либо удовлетворению эго). Продолжая собственную идея, Эндрю говорит, что инструменты, применяемые верно с целью достижения больших максимального выделения и результатов ресурсов на будущие упрочнения, приводят к организационному и глобальному максимуму.
Выше мы уже упоминали, что существуют разные статистические способы проведения MVT, между которыми имеется последовательность различий. Разберемся, так ли это принципиально важно?
- Как Альфа и Бета оказывают помощь улучшить сплит-тесты?
Полнофакторный, дробный факторный и другие способы в чем отличие?
Существует пара подходов к многовариантному тестированию:
- Полнофакторный;
- Дробный факторный;
- Способ Тагучи.
Между этими приверженцами различных подходов существуют кое-какие споры. Поболтаем об этом.
Полнофакторный мультивариантный тест
Полный факторный опыт составляют два либо более фактора, любой из которых имеет дискретные вероятные значения, либо уровни, и чьи экспериментальные установки (единицы) включают в себя все вероятные комбинации таких уровней по всем вероятным факторам.
Либо, по определению Википедии, это совокупность нескольких измерений, удовлетворяющих следующим условиям:
- Количество измерений образовывает 2n, где n — количество факторов;
- Любой фактор принимает лишь два значения — верхнее и нижнее;
- В ходе измерения верхние и нижние значения факторов комбинируются во всех вероятных сочетаниях.
Но не пугайтесь. Применительно к MVT данный термин возможно расшифровать несложнее. Полнофакторный мультивариантный тест — проверка всех комбинаций с равным числом трафика. Это указывает, что:
- Тест более основательный статистически;
- Требует огромных количеств трафика;
Несколько лет назад Парас Чопра написал статью об этом:
«В случае если у вас имеется 16 комбинаций, любая из них возьмёт одну-шестнадцатую долю от всего трафика сайта. Потому, что любая комбинация приобретает равный количество трафика, то этот способ в полной мере разрешает выяснить, какие конкретно конкретно комбинации трудятся наилучшим образом.
К примеру, вы имеете возможность понять, что определенное изображение никак не оказало влияние на конверсию, а заголовок, наоборот, был самым влиятельным элементом. Потому, что полнофакторный способ не делает допущений относительно статистики либо математики тестирования, я советую его для мультивариантных тестов».
- Чему A/B тестирование научило нас в ходе оптимизации App Store
Дробный факторный мультивариантный тест
Дробные факторные конструкции — это «экспериментальные макеты, складывающиеся из шепетильно выбранных подмножеств (фракций) экспериментальных запусков полнофакторных дизайнов».
Итак, дробный факторный тест — это комплект образцов, отображающих большое число комбинаций. Исходя из этого такие тесты требуют меньше трафика:
Не смотря на то, что, в блоге Adobe дробный факторный дизайн был приравнен к барометру: «барометр измеряет давление, но его сокровище не столько в правильном измерении показателя, сколько в уведомлении об трансформациях направленности давления».
В той же статье было сообщено:
«Вопрос в том, как рационально будет израсходовать 5 месяцев на проведение одного теста, чтобы выяснить то, что уже не может быть применимо к моменту завершения тестирования. Вместо этого, из-за чего бы не израсходовать семь дней на дробно-факторный опыт, по окончании которого запустить другие тесты на базе взятых данных?»
- Карты скроллинга для действенного сплит-тестирования
Способ Тагучи
Этот способ думается пара более «эзотерическим», так что лучше не тревожиться об этом. Как писал Парас в Smashing Magazine:
«Это совокупность эвристических способов, а не теоретически обоснованный подход. Первоначально он употреблялся в обрабатывающей индустрии, где были сделаны определенные допущения, дабы уменьшить число комбинаций, нужных для тестирования QA (обеспечение качества) и других опытов. Эти предположения неприменимы к онлайн-тестам, так что вам не следует вспоминать о способе Тагучи.
Придерживайтесь вторых подходов».
Так ли это принципиально важно?
Как уже упоминалось выше, большая часть дискуссий сводится к трудностям анализа дробно-факторного способа. Многие оптимизаторы открыто рекомендуют придерживаться полнофакторных тестов. Как растолковывает Парас: «Множество «дробно-факторных» способов в конечном итоге псевдонаучны, исходя из этого я бы советовал полно-факторный подход».
Однако, другие маркетологи, как Эндрю Андерсон, считают, что эти дебаты ошибочны:
«Споры о том, что лучше: дробно- либо полнофакторный тест, на данный момент ненужны. Легко вследствие того что вы спорите над оттенками зеленого цвета в огромном лесу. MVT направляться применять для применения точек и поиска влияния будущих ресурсов. В этом случае мультивариантное тестирование — легко доступности и вопрос соответствия данных.
Любое второе использование данного формата тестирования безтолку, неэффективно и лишь подчеркивает понимания сути и отсутствие дисциплины оптимизации».
Так ли это критично в действительности? Тяжело сообщить — мнения опытных и легендарныхмаркетологов разделились. Но в случае если у вас хватает трафика, то полнофакторный тест точно не навредит ресурсу. А в то время, когда вы желаете принять бизнес-ответ, критичное по времени и не предполагающее шестимесячные опыты, то вам точно подойдет дробно-факторный подход.
Пускай при некоем недочёте точности, но он окажет помощь проанализировать обстановку и отыскать оптимальное ответ.
Легко не забывайте, что сплит-тестирование полезно для стремительной проверки «точечных» трансформаций на лендинге, а MVT сводится к проверке одновременных корректив, внесенных в пара элементов ресурса. Изменяемые элементы в ходе комбинируются в разных вариантах. С целью проведения мультивариантного тестирования, как уже говорилось множество раз, вам нужно огромное количество временных ресурсов и трафика. В случае если все еще сомневаетесь, Кори Эридон (Corey Eridon) рекомендует следующий порядок применения этих двух методик:
«A/B-тестирование — лучший способ для стремительного получения значимых результатов при скудном трафике. Самое основное, что вы сможете отдавать себе отчет, какое из произведенных вами трансформаций стало причиной увеличению конверсии. С целью проведения мультивариантного тестирования вам необходимо большое количество всего: и времени, и трафика.
Но данный способ разрешает вам неспешно осуществить узкую настройку лендинг пейдж».
- Методика оптимизации конверсии, основанная на дисциплине
Вместо заключения
В случае если у вас достаточно трафика, лучшим вариантом будет применять два подхода в комплексе. Любой из них окажет разное влияние на вашу стратегию оптимизации. Любой из них имеет специфику, рассмотренную выше.
Применяя оба типа тестов совместно, вы получите большую отдачу от собственного ресурса. Действуйте следующим образом:
1. Применяйте сплит-тесты для определения лучших макетов.
2. Запустите мультивариантное тестирование для «шлифовки» макетов. Убедитесь, что все элементы взаимодействуют между собой наилучшим образом.
Как было сообщено выше, пока у вас нет огромных количеств трафика, кроме того вспоминать о мультивариантных тестах преждевременно. При помощи сплит-тестов удостоверьтесь в надежности главные элементы, такие как выговор на ценностном предложении, макет страницы (изображения и баланс текста), протяженность строчков текста, визуальная привлекательность и общее восприятие страницы. Это, возможно, займет всего 2-4 раунда тестов.
А по окончании определения неспециализированной картины вы имеете возможность протестировать сотрудничество элементов через мультивариантный опыт.
Основное, убедитесь, что ваша программа и ваши приоритеты тестирования совпадают. Как в один раз сообщил Пип Лайа: «Большая часть ТОП-агентств, с которыми я общался, запускают 10 сплит-тестов на один MVT».
Высоких вам конверсий!
По данным: conversionxl.com
Случайные статьи:
- Комплексное руководство по оптимизации конверсии. часть 1
- Поведенческая психология: как бренды узнают наши секреты?
A/B-тестирование в сравнение с другими видами тестирования (A/B/n-тест, MVT-тест, Тагучи метод)
Подборка похожих статей:
-
Подходит ли вам мультивариантное тестирование?
Мультивариантное тестирование (multivariate testing) считается более идеальным маркетинговым инструментом, чем классический сплит-тест, поскольку оно…
-
Фотобанки vs реальные изображения: что конвертирует лучше?
По данным MDG Advertising, 67% онлайн-клиентов вычисляют качественные изображения более весомым причиной для принятия ответа о покупке, чем конкретная…
-
Когда главную страницу сайта лучше заменить лендингом?
Большая часть обладателей компаний выполняют много времени, обдумывая собственную домашнюю страницу — так как это виртуальная визитка, электронная…
-
Почему видео-лендинги конвертируют лучше?
Если вы систематично просматриваете блог LPgenerator, то точно уже много понимаете о важности качественных целевых страниц для бизнеса. Но что вы имеете…