Битва за конверсию: сrossss & retail rocket

Posted on by riasevastopol

В то время, когда Read.ru решил опробовать сервисы Crossss, совокупность товарных рекомендаций Retail Rocket трудилась в этом и-магазине уже весь год.

Справка: Read.ru — один из наибольших магазинов рунета в категории «Книги, хобби, канцтовары», занимает 183 место в рейтинге вебмагазинов издания «Коммерсант», ежемесячный оборот исчисляет миллионами рублей.

Год — важный срок для самообучающейся совокупности, какими являются и Retail Rocket, и Crossss. Вместо 365 дней мы взяли 2 семь дней, другими словами к моменту теста Retail Rocket имел в 25 раза больше данных для рекомендаций, чем Crossss. При огромном ассортименте read.ru (около миллиона наименований) это имело возможность появляться серьёзным.

направляться подчернуть, что отечественный рекомендательный движок учитывает не только данные о поведении пользователей, но и эти продуктов (изображения, характеристики и т.п.), исходя из этого начинает действенно трудиться достаточно скоро.

Сравнение эффективности работы сервисов проводилось посредством А/B– тестирования и настраивалось экспертами интернет–магазина. Вся аудитория сайта случайным образом в настоящем времени делилась на 3 группы средствами вебмагазина. В контрольную группу попадали 20% аудитории; советы для них подбирал Retail Rocket. Остальные 80% визитёров делились на две равные группы, одна из которых приобретала советы от Crossss, вторая — от Retail Rocket.

Идентификатор каждого сегмента визитёров передавался в совокупность Гугл Analytics, где производился анализ главных показателей эффективности работы магазина для каждой группы.

По окончании 4 недель опыта сервис Retail Rocket одержал безоговорочную победу над самим собой:

Другими словами итог, продемонстрированный Retail Rocket на протяжении обслуживания тестовой группы, был лучше, чем показатели, которых удалось достигнуть тому же Retail Rocket в течение года работы на Read.ru.

В итогах возможно подметить две странности:

1. Retail Rocket был на 6% лучше самого себя, и совокупность GA определила, что возможность его превосходства равна 95%. Это — A/A-тест данного опыта, итог которого задает порог точности для всего стравнительного опыта: 6%.

2. Результаты Crossss были на 8% лучше, чем у Retail Rocket, но возможность превосходства – меньше, исходя из этого GA выяснила победившим RR.

Вывод Retail Rocket, полученное от сотрудников Сrossss

Отечественные коллеги из Retail Rocket высказали предположение, что неприятность возможно в семплинге данных, и внесли предложение применять сырые эти. Они взяли следующую таблицу посредством API Гугл Analytics:

Мало настораживает сильное отличие выручки на конверсии и посетителя от результатов в интерфейсе, но в целом обстоятельств не доверять таблице нет, и доступа к аккаунту Read.ru в GA на момент написания данной статьи у нас уже нет.

В данных итогах Retail Rocket (действительно, не учитывая собственной базисной части) также проиграл Crossss, но отличие все равно меньше, чем выведенная ранее погрешность.

Анализ фактических заказов

Сотрудника из магазина Read.Ru, клиента теста, пошли еще дальше. Они очистили эти от отменённых и невыполненных заказов, по окончании чего проанализировали эти заказов в разрезе статусов их состояния и выполняемости.

Принципиально важно подчернуть, что эти по статусам заказов были взяты спустя семь дней по окончании теста. Так, с течением времени соотношения заказов с различными статусами еще имели возможность мало измениться.

Были забраны все заказы из CRM Read.ru в разбивке по АБ-группам теста и вычтены из них:

  • Все заказы, прошедшие через колл-центр;
  • Все отменённые заказы;

Оказались следующие относительные цифры (100% — отличных показателей из трёх АБ-групп)

Crossss

RR

Исходная (также RR)

Средний чек (-) заказы КЦ и (-) аннуляций

-4,7%

100,0%

-4,5%

Средний доход на визит по выполненным

-11,1%

100,0%

-11,1%

Часть выполненных заказов в штуках

-1,4%

-1,9%

100,0%

Как видим, по средним цифрам сейчас в первых рядах был RetailRocket. Но эти исходной группы (тот же RetailRocket) фактически совпадают с данными Crossss.

Наряду с этим, в соотношении выполненных заказов Crossss был не хуже RetailRocket, а исходная несколько (тот же RR) опередила тестовый RR практически на 2%.

Так, и по очищенным средним данным отличие показателей Сrossss и RR снова оказалась в рамках погрешности теста.

Эффективность определения заинтересованностей визитёров

Как же узнать, какой рекомендательный сервис отработал лучше? Для этого нужно отбросить элемент случайности, вносимый распределением сессий. К примеру, отечественные сотрудники обратили внимание, что в сегмент crossss случайно попал громадной заказ более чем на 400 тысяч рублей (но, реально оформленный и оплаченный).

Отыщем в памяти, что одно из основных качеств сервиса персонализации – его свойство предвещать потребности визитёра, причем как в том, что касается привлечения его внимания, так и в том, что касается приобретений как таковых.

Внимание к рекомендациям корректно отражается CTR рекомендательного блока (при условии, что сравниваемые рекомендательные блоки одинаково оформлены). Свойство сервиса рекомендаций предвещать приобретение визитёра отражается конверсией кликнувшего рекомендацию визитёра. Как раз исходя из этого клиенты Crossss платят лишь за настоящие действия клиентов: учитываются лишь те товары в корзине, каковые визитёр в первый раз заметил в советы, кликнул и позже приобрел.

взглянуть на соответствующий отчет GA:

Битва за конверсию: сrossssretail rocket

Как видно из этого отчета, часть сессий Crossss, в которых была кликнута по крайней мере одна совет, равна 32755/822698/0,4=9,85%, тогда как у RR данный показатель составил 12138/822698/0,6=2,46%. Значит, Сrossss практически в 4 раза лучше угадывает интересы визитёра!

Конверсия визитёров в отечественном канале кроме этого на 4,3% лучше, чем у RR (но, это снова в пределах погрешности, определенной A/A-тестом), и значительно лучше, чем средняя по сайту!

По итогам теста Read.ru внес предложение заключение договора сервису crossss.ru.

Комментарий председателя совета директоров вебмагазина Read.ru Михаила Гриценко:

Для отечественного магазина это был ответственный тест. Read.ru довольно многокатегорийный магазин, не смотря на то, что ядро товаров составляют книги, а продвижение продаж вторых категорий есть ответственной бизнес-задачей. То, что советы дают однозначный прирост конверсии —ни для кого не секрет, но нам было принципиально важно осознать факторы, каковые смогут привести те либо иные методы к успеху. На настоящий момент мы лишь подтвердили главную догадку: с рекомендациями лучше, чем без них.

Мы весьма признательны Crossssи RetailRocket за открытость и плодотворное сотрудничество, каковые сделали вероятным данный тест. Мы планируем повторить его на витрине Read.ru в начале следующего года, предоставит шанс обеим совокупностям готовиться и появляться в равных условиях, само собой разумеется, в случае если такое предложение будет ими принято.

Комментарий Николая Хлебинского, CEOCo-Founder Retail Rocket:

1. Сервис Кросс в блоках рекомендаций ставит ссылки на собственный домен. В то время, когда пользователи кликают в них они переходят на домен Кросс, откуда их переправляют на карточку товара магазина. Виджеты рекомендаций Retail Rocket содеражт ссылки лишь на домен магазина. При простом клике в блок рекомендаций источник трафика НЕ перезаписывается.

Но, специфика отечественных виджетов пребывает в том, что они подгружаются в iframe и перезапись источника трафика вероятна Лишь при открытии через контекстное меню (правый клик) либо средний клик. Если бы сотрудники разбирались в том, как трудятся совокупности веб-аналитики в общем и атрибуция трафика в частности, они бы осознали, что сравнение по источнику трафика полностью некорректно. 

 2. В случае если А/А тест выявляет победителя – А/А тест настроен неправильно. Вот как выглядит А/А тест, совершённый посредством отечественного сегментатора (https://github.com/RetailRocket/RetailRocket.Segmentator) 

 Различие между группами по всем главным показателям менее 0,03% (другими словами точность 99,97%). К сожалению, нам не сказали, что в исходном сегменте так же употреблялся отечественный сервис. При проверке настроек опыта отечественные эксперты отмечали, что не видят в нем отечественных рекомендаций, но не придали этому значения, удостоверившись, что в сегменте Retail Rocket все показывается правильно. 

3. Коллеги из Кросс умолчали последовательность фактов из отечественного отчета, конечно из отчета, что сделали сами эксперты вебмагазина на базе отменённых заказов и заказов колл-центра. Полная версия отчета тут: http://retailrocket.ru/blog/rezultatyi-sravneniya-rekomendatelnogo-servisa-retail-rocket-s-crossss/

Случайные статьи:

Lean Startup Russia 2015 День 2: Николай Хлебинский Retail Rocket


Подборка похожих статей:

riasevastopol

More Posts