CRM-маркетинг: кейсы, где рост выручки подтвержден контрольной группой
Как отличить реальный эффект CRM от совпадения с сезоном. Три разбора с цифрами, holdout-тестами и одним проектом, который не окупился.
Почти каждый отчет по CRM выглядит одинаково. Запустили цепочку, через месяц выручка канала выросла, на слайде зеленая стрелка вверх. Потом финансовый директор спрашивает, сколько из этих денег компания получила бы и без писем. Ответа обычно нет. Атрибуция по последнему клику приписывает рассылке любой заказ, если клиент открыл письмо за 72 часа до покупки, даже когда он собирался купить в любом случае.
Мы в ClientCore много раз видели, как сильный по отчету проект на проверке давал вдвое меньше заявленного. Иногда эффекта не было совсем. Поэтому ниже собраны разборы вместе с методологией: видно, где мы ошибались и как это поймали. Цифры комментирует Егор Череватенко, CRM-маркетолог ClientCore. Он ведет измерения на проектах и обычно первым задает заказчику неудобный вопрос про контрольную группу.
ЧИТАЙТЕ ТАКЖЕ
«Пошаговый план внедрения CRM-маркетинга на 12 месяцев: аудит данных, первые сценарии, программа лояльности и контрольные точки ROI — со сроками и цифрами из практики.»
Почему большинство кейсов CRM-маркетинга нельзя проверить
Если открыть публичные crm маркетинг кейсы, в девяти из десяти будет формула «запустили X — выручка выросла на Y%». Сравнивают обычно два периода: до запуска и после. Между ними меняется все остальное. Наступает сезон, маркетинг запускает перформанс, у конкурента ломается сайт, выходит новая коллекция.
Есть и вторая ловушка — сама атрибуция в CRM-платформе. Mindbox, как и любая система, считает выручку по окну атрибуции. Клиент открыл письмо, через двое суток купил офлайн по карте лояльности, и заказ записан в выручку рассылки. Но это лояльный покупатель, который приходит раз в три недели. Письмо могло ускорить покупку на день, а могло вообще ни на что не повлиять.
Отсюда простое правило. Отчет платформы показывает, сколько денег прошло через канал. Сколько денег канал создал, он не показывает, и для этого нужен другой инструмент.
На одном проекте отчет показывал, что приветственная цепочка приносит около 11% выручки онлайна. Мы выключили ее для 10% новых подписчиков на шесть недель. Разница в конверсии в первый заказ оказалась 2,3 процентного пункта. Цепочка работала, но в реальных деньгах это было примерно в три раза меньше, чем на дашборде. Цепочку мы оставили, но поменяли ожидания и бюджет на ее доработку».
Егор Череватенко
CRM-маркетолог, ClientCore
Инкрементальность: что это и как мы ее считаем
Инкрементальность — это прирост, который возник именно из-за коммуникации. Считается он через сравнение двух групп. Одна получает рассылку, другая (holdout) нет. Обе группы формируются случайно из одного сегмента. Разница в выручке на клиента между ними и есть эффект.
На практике ломается дисциплина: контрольную группу делают слишком маленькой, тест держат неделю, а клиентов из холдаута случайно добивают массовой рассылкой. Мы обычно закладываем 5–15% сегмента в контроль, в зависимости от размера базы и частоты покупок. Для товаров с циклом покупки в 2–3 месяца тест короче шести недель почти бессмыслен.
Отдельный момент — метрика. Смотреть надо выручку на клиента в группе, включая тех, кто не открыл письмо. Открытия и клики тут не помогут. Если сравнивать только кликнувших, получится красивая и бесполезная цифра: кликают как раз самые активные покупатели.
Норма
контрольная группа выделяется случайно до старта, а не задним числом
холдаут исключен из всех коммуникаций по этому сценарию, включая дублирующие массовые рассылки
сравнивается выручка на клиента во всей группе за весь период теста, а не по открывшим и кликнувшим
результат проверяется на статистическую значимость, а не на глаз
Red flag
«контрольная группа» — это клиенты, которые не открыли письмо
эффект считают по сравнению с прошлым месяцем или прошлым годом
тест длится 5–7 дней при цикле покупки в несколько недель
в отчете есть только открытия, клики и атрибуцированная выручка
Разбор 1: брошенный просмотр в fashion-ритейле
Исходная ситуация: сеть одежды, база около 600 тысяч контактов с email, Mindbox внедрен два года назад. Триггер брошенного просмотра уже работал, но отправлял одно письмо через сутки, всем подряд. По отчету платформы сценарий приносил заметную долю триггерной выручки, и заказчик считал его одним из самых сильных.
Что сделали. Разбили цепочку на два письма. Первое уходит через 3 часа и показывает просмотренный товар с наличием размеров. Второе отправляется через двое суток с подборкой похожих моделей. Тем, кто посмотрел товар повторно, первое письмо не отправляли: эти люди и так возвращались сами. Параллельно выделили холдаут в 10% и держали его восемь недель.
Как измерили. По атрибуции новая цепочка выросла почти в два раза относительно старой. Инкрементальная выручка, посчитанная по холдауту, составила около 40% от атрибуцированной. Остальное — покупки, которые случились бы и без писем. Для триггеров на «теплой» аудитории это нормальная доля. Важнее другое: грубая оценка старой версии по историческим данным показала инкрементальность почти нулевую. Письмо через сутки получали в основном те, кто уже купил или передумал.
Разбор 2: реактивация со скидкой, которая не окупилась
Этот проект мы показываем редко, хотя пользы от него, пожалуй, больше, чем от успешных. Сеть товаров для дома, задача — вернуть клиентов, не покупавших 180+ дней. Сегмент около 120 тысяч человек. Механика понятная: серия из трех писем и SMS с персональным промокодом на 15%.
По отчету кампания выглядела хорошо: несколько тысяч заказов с промокодом за месяц. Холдаут в 15% показал другую картину. Часть «спящих» клиентов вернулась сама: в контрольной группе тоже покупали, просто без скидки. Когда мы вычли из инкрементальной выручки стоимость скидок, которые получили бы и сами вернувшиеся, маржинальный эффект ушел в минус.
Мы подарили 15% людям, которые и так собирались прийти на распродажу через две недели. Во второй волне скидку оставили только тем, у кого вероятность покупки по модели была ниже медианы, а остальным отправили письмо с новинками без промокода. Инкрементальная маржа стала положительной. Вывод неприятный, но полезный: в реактивации скидка чаще всего съедает деньги на тех, кого не нужно было уговаривать».
Егор Череватенко
CRM-маркетолог, ClientCore
После проекта реактивацию мы всегда запускаем с двумя контрольными группами. Одна не получает ничего, вторая получает письмо без скидки. Так отдельно видно эффект касания и эффект промокода.
Разбор 3: меньше отправок, больше денег
Третий типовой сюжет — массовые рассылки «по всей базе». Здесь измерение проще, потому что изменение резкое. Когда письма перестают уходить всем подряд и начинают попадать в сегменты, число отправок падает, а выручка на письмо растет. Если следить за отписками и жалобами, эффект видно уже в первом квартале.
Проверяли это на практике. В проекте для MINIDINO рассылки уходили всей базе без разбора сегментов. После пересборки логики эффективность email выросла на 110% за квартал без роста числа отправок (кейс). Показательно именно «без роста отправок»: результат нельзя списать на то, что писем стало больше и они чаще попадались на глаза.
Другая сторона измерения — соотношение результата и затрат на механику. Для ресторанов «Урюк» мы запускали розыгрыш сертификатов через email в низкий сезон. Выручка от акции оказалась в 20,7 раза выше затрат на призовой фонд, а в программу лояльности пришли 2435 новых участников (кейс). Для промо-механик такой расчет честнее, чем голая выручка: видно, сколько стоил каждый рубль результата. К тому же раньше ресторан уже пробовал поддерживать продажи в этот период без ощутимого эффекта, так что сравнивать было с чем.
Как считать ROI CRM-маркетинга без самообмана
Формула ROI CRM-маркетинга простая: (инкрементальная маржа − затраты) / затраты. Сложности начинаются, когда в числитель ставят атрибуцированную выручку вместо инкрементальной маржи. Ошибка получается в разы и всегда в пользу канала.
В затраты мы включаем лицензию платформы, работу команды или агентства, стоимость SMS и пушей и скидки, которые получили клиенты. Скидки забывают чаще всего, хотя в акционных сценариях именно они составляют основной бюджет. Отдельно стоит учитывать долгий эффект: часть клиентов после реактивации делает еще 1–2 покупки. Его тоже лучше мерить по холдауту, продлив наблюдение на 2–3 месяца.
Норма
в числителе инкрементальная маржа, а не выручка
в знаменателе есть скидки и бонусы, выданные в рамках сценария
долгий эффект считается отдельно и с отдельным периодом наблюдения
ROI считают по сценариям, а не одной цифрой на весь канал
Red flag
ROI канала больше 3000%, и никто не задает вопросов
считается выручка с НДС и без вычета себестоимости
лицензия и работа команды «не относятся к CRM»
нет ни одного сценария с отрицательным или нулевым эффектом
Про последний пункт стоит сказать отдельно. Если на проекте все сценарии показывают плюс, это скорее признак слабого измерения. В живой системе всегда находится пара цепочек, которые ничего не меняют, и их надо отключать или переделывать.
Что спрашивать, когда вам показывают кейс
Любой подрядчик покажет красивые crm маркетинг примеры. Вопрос в том, как их прочитать. Мы советуем клиентам задавать одни и те же вопросы и нам, и другим агентствам.
Первый — с чем сравнивали. Если ответ «с прошлым годом», уточните, что еще поменялось за этот год. Второй — какой был размер контрольной группы и сколько длился тест. Третий — что не сработало. Агентство, у которого за пять лет не было неудачных сценариев, либо не мерило, либо не рассказывает.
Отдельно смотрите на горизонт. Рост на 14,62% к выручке CRM-направления за 10 месяцев, как у «Браво-Оптики» (кейс), — длинная дистанция, на которой результат уже нельзя объяснить одной акцией.
Я обычно прошу показать сырые цифры по контрольной группе: сколько клиентов, сколько купили, средний чек. Если таблицы нет, значит, и теста не было. Однажды заказчик пришел к нам с отчетом о росте на 40% от прошлого подрядчика, мы восстановили картину по данным Mindbox, и реальный прирост оказался около 9%. Это все еще хороший результат, просто бюджет под него планировали совсем другой».
Егор Череватенко
CRM-маркетолог, ClientCore
ЧИТАЙТЕ ТАКЖЕ
«Решения «по ощущениям» тихо съедают выручку CRM-канала. Разбираем, как ЛПР перестроить процессы, чтобы каждый шаг опирался на цифры.»
Это часть результата, которая появилась только благодаря коммуникации. Чтобы ее увидеть, клиентов делят случайно на две группы: одна получает рассылку, другая нет. Разница в выручке на клиента между группами и есть инкрементальный эффект.
Какой размер контрольной группы нужен?
Обычно 5–15% сегмента. Чем меньше база и реже покупки, тем больше доля контроля и дольше тест. Для сегментов меньше 10–20 тысяч клиентов значимого результата за месяц часто не получить, поэтому тест растягивают или объединяют несколько волн.
Не теряем ли мы деньги, когда не отправляем письма контрольной группе?
Немного теряете, если сценарий работает. Но эти потери — плата за знание, какие цепочки стоит развивать, а какие отключить. На практике один найденный убыточный сценарий, как скидочная реактивация из разбора выше, окупает холдаут на годы вперед.
Можно ли посчитать ROI CRM-маркетинга по отчету Mindbox?
Отчет платформы дает атрибуцированную выручку — это хорошая отправная точка. Для честного ROI к ней нужно добавить холдаут-тесты, вычесть себестоимость, скидки и затраты на команду и лицензию. Технически Mindbox позволяет настроить контрольные группы в сценариях, вопрос в том, чтобы делать это системно.
Сколько времени нужно, чтобы увидеть эффект CRM в цифрах?
По отдельному триггеру с хорошим трафиком — 4–8 недель. По перестройке массовых рассылок — квартал. Устойчивую картину по каналу в целом обычно видно через 6–12 месяцев, когда накопились данные по нескольким сезонам.
