Как измерить uplift от upsell и cross-sell и не приписать себе чужие продажи
Письмо с допродажей принесло миллион выручки. Но сколько клиентов купили бы и без него? Разбираем uplift-расчет: контрольные группы, формула и защита цифры перед финансами.
Знакомая сцена. CRM-отчет показывает: апселл-кампания принесла 1,2 млн за месяц. Директор по маркетингу кивает, финансист поднимает глаза от таблицы: «Сколько из этих людей купили бы и так?». В комнате повисает тишина — честного ответа нет.
Платформа атрибутирует заказ письму, если человек кликнул и оплатил. Но кликают по апселл-офферу чаще всего те, кто и без письма собирался взять больше. Пока эти продажи не отделены от реального эффекта, любая цифра в отчете — вопрос веры. Как измерить uplift от upsell так, чтобы цифра выдержала проверку финансами, рассказывает Екатерина Чернова, CRM-маркетолог ClientCore.
ЧИТАЙТЕ ТАКЖЕ
«AOV растет, а денег в кассе не прибавляется. Как правильно считать средний чек, где он врет и почему скидочные акции надувают метрику за счет вашей маржи.»
Стандартная атрибуция в Mindbox и любой другой платформе устроена просто: был контакт с рассылкой, потом случился заказ — заказ записываем рассылке. Для операционной работы это нормально. Для ответа на вопрос «сколько денег принес апселл» — нет.
Пример. После покупки смартфона клиент получает письмо с чехлом и защитным стеклом. Из 10 000 получивших аксессуары купили 400 человек. Отчет покажет 400 продаж. Но если из 10 000 человек, которым письмо не отправляли, чехол купили 300, реальный эффект рассылки — 100 продаж. Остальные 300 — заслуга чужого намерения, которое письмо просто сопроводило.
Эта разница и есть uplift: насколько поведение тех, кто получил оффер, отличается от поведения тех, кто его не видел. Все остальное — надежда, что без письма клиенты вели бы себя хуже. Обычно они ведут себя почти так же, потому что апселл изначально попадает в уже мотивированных.
Пересчитывали триггер на аксессуары у electronics-ритейлера: по атрибуции платформа приписывала цепочке 900 тысяч в месяц. С контрольной группой вышло 340 тысяч. Разница в 2,6 раза — это клиенты, которые брали чехол и без нашего письма. Цепочку не отключили, но бюджет на ее развитие после этого считали уже от реальной цифры.
Екатерина Чернова
CRM-маркетолог, ClientCore
Контрольная группа: как устроен честный эталон
Единственный способ узнать, что сделали бы люди без оффера, — не показать оффер части из них. Это контрольная группа (holdout): случайные 5–10% сегмента, которым апселл-письмо не уходит. Их поведение — ваш «нулевой уровень».
Считаем на цифрах. Тестовая группа — 20 000 человек, конверсия в покупку товара-добавки 4,8%. Контрольная — 2 000 человек, конверсия 3,9%. Uplift = (4,8 − 3,9) / 3,9 × 100% ≈ 23%. Инкрементальные продажи: (0,048 − 0,039) × 20 000 = 180 заказов. Вот их механика заработала сама. Остальные 780 заказов в тестовой группе — органика, которая случилась бы в любом случае.
Норма
распределение в контроль случайное, на уровне ID клиента, до старта кампании
группа изолирована только от этого оффера: остальные письма и акции идут ей как обычно
размер группы дает хотя бы несколько десятков ожидаемых покупок, иначе считаете шум
Red flag
в контроль отправили «тех, кто давно не покупал» — группы несопоставимы с самого начала
контрольная группа из 300 человек при конверсии 2%: разброс в несколько заказов съест любой эффект
контроль отключили от всех рассылок разом — так вы измеряете отсутствие маркетинга целиком
Как оценить uplift рассылки: методика по шагам
1. Зафиксируйте главную метрику до запуска. Для апселла это конверсия в товар-добавку и средний чек. Для кросс-селла — доля заказов с позициями из двух и более категорий. Метрика одна. Если после теста вы выбираете ту, что выросла, — это подгонка под результат. 2. Выделите контроль до старта. В Mindbox есть глобальная контрольная группа и A/B-разветвление внутри сценария: часть попавших в триггер случайно уходит в ветку без писем. Настройка — день работы, а не отдельный проект. 3. Дайте тесту выдержку. Минимум 2–4 недели или полный цикл покупки в вашей категории. Остановили на пятый день, потому что «уже видно тренд», — получили шум вместо вывода. 4. Считайте деньги. Инкрементальная выручка = (средний чек тестовой группы − средний чек контрольной) × число клиентов в тесте. Для апселла средний чек информативнее конверсии: механика меняет состав корзины, и это видно именно в рублях. 5. Проверьте, что разница не случайна. При выборках в тысячи человек хватает любого онлайн-калькулятора статистической значимости. Порог — 95%: если вероятность случайной разницы выше 5%, эффекта пока нет, есть колебания.
Что съедает uplift: каннибализация и сдвиг спроса
Даже честно посчитанный uplift по одному товару способен обмануть. Кросс-селл сработал, человек добавил в заказ вторую категорию — но часто он переключился: взял акционные джинсы вместо тех, что выбрал бы без оффера. Конверсия в «джинсы» выросла, суммарная выручка — нет.
Вторая ловушка — сдвиг по времени. Клиент купил сейчас то, что купил бы через месяц. На горизонте недели это выглядит победой, на горизонте квартала выручка просто переехала из будущего в отчетный период. А потом вы видите провал и не понимаете причину.
Поэтому объект измерения — суммарная выручка и маржа группы за весь период теста, с окном наблюдения хотя бы в один цикл повторной покупки после завершения. Конверсия в товар-добавку остается вспомогательной метрикой: она полезна для диагностики механики, но не отвечает на вопрос о деньгах.
Запускали оффер „второй товар со скидкой 20%“ в fashion-сегменте. Конверсия в акционный товар выросла на треть, команда уже готовила победный отчет. Посчитали суммарную маржу групп: плюс 4%. Остальное съели скидка и переключение с полноценных продаж. Механику оставили, но срезали скидку до 10% и ограничили показ категориями с низкой органической конверсией.
Екатерина Чернова
CRM-маркетолог, ClientCore
Как это настроить в Mindbox — и что делать без идеальных условий
В Mindbox два рабочих инструмента. Первый — глобальная контрольная группа: фиксированные 3–5% базы, которым маркетинговые сообщения не уходят вообще. Это постоянный эталон «что было бы без CRM». Второй — контрольный вариант внутри A/B-теста в конкретном сценарии: меряете вклад одной цепочки, остальная коммуникация идет без изменений.
Норма
глобальный holdout живет постоянно, разовые тесты его не отменяют
контрольный вариант в сценарии меряет одну цепочку при неизменных остальных
запасные методы включаются, когда эксперимент физически невозможен
Red flag
контрольную группу собрали «на время акции» и потом растворили — нулевой уровень потерян
сравнение период к периоду без поправки на сезонность и рост базы
сегменты-близнецы подобраны «на глаз», без проверки сопоставимости по истории покупок
Бывает, чистый эксперимент недоступен: база небольшая, цикл сделки полгода, клиенты из B2B. Тогда работают запасные методы. Matched cohorts — подбираете сегмент-близнец по истории покупок, частоте и среднему чеку, сравниваете с ним. Период к периоду — сопоставление с тем же месяцем прошлого года с поправкой на сезонность. Точность ниже эксперимента, зато честнее, чем last click.
За любой цифрой роста должен стоять ответ на вопрос «а что было у тех, кому ничего не меняли». Когда мы показываем клиенту результат вроде +110% к эффективности email за квартал, как в проекте для MINIDINO (кейс), этот вопрос от финансового директора прозвучит в первые пять минут. Ответ должен быть готов до презентации.
Как отчитываться, чтобы цифре верили
Показывайте два числа. Атрибутированная выручка — для операционной работы: по ней удобно сравнивать кампании между собой. Инкрементальная — для бюджета и планирования. Когда в отчете висит одна колонка «выручка CRM», финансист рано или поздно найдет вторую сам — и доверие к каналу упадет надолго.
Держите глобальный holdout постоянно. Три-пять процентов базы без маркетинга дают динамику нулевого уровня: видно, как органика меняется с сезоном, и любой новый uplift считается от актуальной базы.
Пересчитывайте механики раз в квартал. Апселл, который давал 25% год назад, изнашивается: клиенты привыкают к офферу, а в отчете продолжает висеть старая цифра.
Финансист верит цифре, у которой есть контрпример. Я выношу на встречу две колонки: „купили бы и так“ и „купили из-за коммуникации“. На одном проекте после такого пересчета бюджет на CRM подняли примерно на 20% — впервые за два года, потому что цифра наконец выдержала проверку. Спорить приходится, когда контрпримера нет.
Екатерина Чернова
CRM-маркетолог, ClientCore
ЧИТАЙТЕ ТАКЖЕ
«ARPU отвечает за текущую выручку с клиента, LTV — за пожизненную ценность. Формулы, отличия и способ связать обе метрики в единую картину монетизации.»
Конверсия — доля купивших среди получивших письмо. Uplift — насколько эта доля превышает поведение тех, кому письмо не уходило. Конверсия 5% при контрольной конверсии 4,5% — слабая механика, хотя сама пятерка в отчете выглядит прилично.
Какого размера должна быть контрольная группа?
Ориентир — 5–10% сегмента, но важнее абсолютное число ожидаемых покупок. При базовой конверсии 2% группа в 500 человек даст около 10 заказов: любые отклонения здесь — шум. Для уверенного вывода нужны хотя бы несколько десятков покупок в контроле, обычно это 2 000–5 000 человек.
Мы теряем деньги, не отправляя оффер контрольной группе?
Недополученная выручка малой доли базы — цена честной цифры. На практике она окупается быстро: компания перестает масштабировать механики с нулевым или отрицательным uplift и переносит бюджет на те, что реально растят чек.
Можно ли посчитать uplift для триггерных цепочек?
Да, логика та же, что у разовой рассылки. Часть клиентов, попавших в триггер, случайным образом уходит в контрольную ветку и не получает цепочку. В Mindbox это решается A/B-разветвлением внутри сценария.
Что делать, если uplift получился отрицательным?
Сначала проверить статистику: при малой выборке минус часто оказывается шумом. Если разница значима, механика вредит — раздражает клиентов или каннибализирует маржу. Отключите, пересоберите оффер и верните тест через месяц.
