Битва за конверсию: ответ retail rocket

Posted on by riasevastopol

В соответствии с соглашением о неразглашении тайной информации, мы не можем публиковать показатели, отражающие результаты деятельности вебмагазина, на котором проходил тест. По этому в отчете приводятся лишь относительные показатели, установленные в следствии А/Б теста, каковые отражают отличие в эффективности сервисов.

Отличительной изюминкой этого кейса есть то, что эксперты вебмагазина в собственном пост-тест анализе применяли информацию о практически реализованных заказах, а не об оформленных, как это в большинстве случаев не редкость. Торопимся поделиться подробностями!

Описание теста

Изучение эффективности работы сервисов проводилось посредством механики А/Б-тестирования и настраивалось экспертами вебмагазина. Вся аудитория сайта случайным образом в настоящем времени делилась на равные сегменты. Одному сегменту показывались товарные советы Retail Rocket, второму – Crossss.

Идентификатор каждого сегмента визитёров передавался в совокупность Гугл Analytics и в учетную совокупность вебмагазина.

Пост-тест анализ экспертами Retail Rocket посредством Гугл Analytics

Согласно данным Гугл Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет большой трафик и в web-интерфейсе GA нет возможности разбирать эти без сэмплирования (неточного построения отчетов на базе маленькой выборки данных). Исходя из этого для выгрузки сырых данных без сэмплирования мы применяли API Гугл Analytics и взяли следующие эти:

# Конверсия Средний чек Выручка на визитёра
Преимущество Retail Rocket +4,33% -4,48% -0,35%

По взятым данным, совокупность Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

По взятым данным, совокупность Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Наряду с этим, в сегменте Crossss отмечается рост среднего чека, что в итоге сводит на нет отличие по выручке между сегментами. Но, отличие по среднему чеку не есть статистически значимой.

За время теста в сегмент Crossss попали 2 очень громадных заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в много раз, а в самом заказе находятся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket цена самого большого за время теста заказа ~35000 рублей).

Битва за конверсию: ответ retail rocket

В случае если убрать эти два очень громадных заказа из данных для анализа, возьмём следующие результаты:

# Конверсия Средний чек Выручка на визитёра
Преимущество Retail Rocket +4,35% +0,86% +5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа приобретаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Возможность попадания таких разовых заказов в любой из сегментов теста громадна. Распространенной практикой для пост-тест анализа есть удаление маленького процента самых дорогих заказов из каждого сегмента, дабы всецело исключить локальные пики в выручке, на каковые как правило тестируемые элементы не воздействуют. Удалив из обоих сегментов по 10 самых дорогих заказов, возьмём:

# Конверсия Средний чек Выручка на визитёра
Преимущество Retail Rocket +4,32% +1,16% +5,53%

Как видно из таблицы, обстановка фактически не изменилась.

Пост-тест анализ экспертами вебмагазина на базе данных внутренней совокупности аналитики (с учетом отменённых заказов и заказов колл-центра, каковые оформлялись через сайт)

Один из самых правильных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, каковые не отражают эффективности тестируемого трансформации и искажают результаты изучения: тестовые заказы сотрудников магазина, фейковые заказы разных «шутников», заказы операторов колл-центра и без того потом.

Как раз такие «очищенные» эти применяли при анализе А/Б теста эксперты самого вебмагазина. Полученные результаты приведены ниже:

# Выручка на визитёра по оформленным заказам (за исключением отменённых и колл-центра) Средний чек по оформленным заказам (за исключением отменённых и колл-центра) Выручка на визитёра по выполненным заказам
Преимущество Retail Rocket +10,4% +4,7% +11,1%

Как видно из таблицы, преимущество совокупности Retail Rocket по выручке от выполненных заказов вдвое выше, чем по выручке от размещенных.

Выводы

1. По итогам тестирования Retail Rocket увеличивает «размещенную выручку» (не учитывая аннуляций, исполняемости и т.д.) вебмагазина на 5,53% если сравнивать с совокупностью Crossss. Статистическая значимость результатов тестирования 99%.

2. По итогам анализа аннуляции и исполняемости заказов сотрудниками вебмагазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели совокупности Crossss (в полных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ лишь тех механик рекомендаций, каковые имеется у совокупности Crossss. В совокупности Retail Rocket имеется множество продуктов, внедрение которых разрешит существенно повысить экономическую отдачу от совокупности. Пример – персонализация фундаментальной страницы по принципу Ozon.ru.

Отечественным клиентам, Dostavka.ru, лишь посредством этого одного сценария подняли выручку на 8,5%.

Случайные статьи:

Познакомьтесь с Retail Rocket!


Подборка похожих статей:

riasevastopol

More Posts