Чем uplift отличается от атрибуции?

Атрибуция приписывает выручку всем, кто контактировал с кампанией. Uplift показывает прирост по сравнению с counterfactual — и для этого резервируют контрольную группу или строят ее по историческим данным.

Можно ли выполнять uplift расчет без контрольной группы?

Да, через матчинг по истории или difference-in-differences. Но в отчете прямо помечают, что counterfactual построен на данных, и вывод держат с поправкой.

Какой минимальный размер контрольной группы нужен?

Ориентир — 5–15% базы. При конверсии около двух процентов контроль в тысячу человек уже несет шум, поэтому в малой базе долю контроля лучше наращивать.

Как посчитать uplift в деньгах?

Абсолютный прирост в процентных пунктах умножают на размер тестовой группы — получают дополнительные заказы. Умножение на средний чек дает дополнительную выручку. Чтобы показать маржинальный прирост, из этой суммы вычитают стоимость купонов и бонусов.

Uplift-расчет: формулы прироста для коммуникаций и типичные ошибки оценки

Маркетинг-отчет показывает: рассылка принесла 340 тысяч рублей. CFO задает один вопрос — сколько из этих клиентов купили бы и без письма. После такого вопроса в комнате обычно становится тихо, и на этом тихом месте заканчивается большинство отчетов по CRM.

Ответить можно, причем без команды дата-саентистов. Василина Бреусенко, CRM-маркетолог ClientCore, объясняет, как устроен uplift-расчет: какие формулы с контрольной группой применять, как строить counterfactual-оценки на исторических данных и какие ошибки пост-периода завышают результат.

Uplift что это и зачем он финансам

Uplift — прирост результата, который принесла именно коммуникация: разница между тем, что группа клиентов сделала после письма, и тем, что она сделала бы без него. Вторая часть формулы называется counterfactual, контрфактический сценарий. Отчет атрибуции показывает выручку всех, кто как-либо контактировал с кампанией. Uplift выделяет из этой суммы чистое влияние.

На выходе разница бывает ощутимой. Рассылка ушла ста тысячам клиентов и собрала три тысячи заказов — но контрольная группа без письма сделала столько же. Прирост нулевой, хотя отчет показывает солидную выручку. И наоборот: всего двести писем, зато плюс двадцать процентов к заказам — это уже основание для решения о бюджете.

Uplift расчет: формула с контрольной группой

Рабочий способ выделить прирост — заранее отделить часть базы, которой коммуникацию не отправляют. Это контрольная группа. Дальше работают три формулы:

Относительный uplift = (Конверсия теста − Конверсия контроля) / Конверсия контроля × 100%
Абсолютный прирост = Конверсия теста − Конверсия контроля
Дополнительная выручка = абсолютный прирост × размер тестовой группы × средний чек

Пример. Письмо ушло 90 тысячам клиентов, десять тысяч зарезервированы в контроль. Конверсия в заказ в тесте — 2,4%, в контроле — 1,9%. Относительный uplift = (2,4 − 1,9) / 1,9 ≈ +26%. Абсолютный прирост — 0,5 п.п., на тестовой группе дает 450 дополнительных заказов. Умножаем на средний чек — получаем чистую дополнительную выручку кампании.

Норма

контрольной группе — 5–15% базы, отбор случайный
в тесте и контроле — одинаковая доля сегментов
окно измерения одинаковое для обеих групп

Red flag

в контроль убрали всех, кто давно не покупал
контроль в 1% при шумной конверсии
у теста окно в семь дней, у контроля — в три

Counterfactual-модели: когда контрольной группы нет

Бывает, что рассылку уже отправили всей базе и контроля не осталось. Тогда counterfactual строят из исторических данных, и рабочих вариантов два.

Первый — матчинг: для каждого клиента тестовой выборки по истории покупок, давности, чеку и активности подбирают похожего клиента из архива, который коммуникацию не получал. Дальше сравнивают конверсии таких пар — как в обычном uplift-расчете. Второй подход — difference-in-differences: смотрят, как изменился результат тестовой группы относительно прошлого периода, и вычитают аналогичное изменение сопоставимой контрольной группы. Работает, если исторические группы реально близкие.

Оба приема — допущения, и в отчете об этом говорят прямо. Слабый вариант — сравнение с тем же месяцем год назад или прошлым кварталом: акции, распродажи, праздничный трафик и погода задвинут любой вывод. Клиент из прошлого квартала и клиент сегодня — две разные когорты.

Как оценить uplift рассылки: рабочий алгоритм

Для разовой кампании и регулярных отправок последовательность одна. Первый шаг — зафиксировать целевую метрику до отправки: заказ, выручку, активацию. Open rate в качестве цели не годится — после iOS 15 и Mail Privacy Protection открытия измеримы слабо, а бюджетные решения по ним не выносят.

Второй шаг — случайным образом отделить контроль до отправки коммуникации. Третий — назначить окно атрибуции: для e-commerce обычно 3–7 дней, при длинном цикле сделки больше. Четвертый — посчитать относительный и абсолютный показатели вместе: первый удобен для отчета, второй — для денег. Пятый — повторить замер на трех-четырех кампаниях, и только потом делать вывод о канале в целом.

Если акция с купоном — прирост по заказам считают по одной метрике, а выручку — по чистому чеку после скидки. Иначе uplift на бумаге выше, чем в кассе.

Ошибки оценки на пост-периоде

Типичная ошибка — сравнение до и после: берут результаты месяца до кампании и месяца после, разность записывают в актив канала. Если между замерами прошла акция, распродажа или просто сезонный всплеск, все это пойдет в плюс к рассылке, которую взялись оценивать.

Вторая группа ошибок — в самой выборке. В контроль отбирают пассивных клиентов, которые давно не покупали, и прирост вздувается: тест выглядит сильнее просто потому, что сравнивают с мертвыми. Похожая история — когда в окне атрибуции в плюс записывают все заказы, включая органические. Третий класс — вывод о канале после одной кампании: один замер фиксирует разовый результат, не показывая динамику.

Норма

относительный и абсолютный прирост держат в паре
вывод о канале — после трех и более кампаний
uplift считают по сегментам отдельно

Red flag

вывод о плюс сорока процентах к каналу после одной рассылки
окно атрибуции в тридцать дней для импульсной покупки
«сравнили с прошлым годом» как метод

Что меняет чистая методика: пример из практики

Когда прирост по каждой кампании считается одним и тем же способом, у канала появляется цифра, которую подписывают финансы. В проекте ClientCore для «Браво-Оптики» запустили email-канал, каскадные цепочки и поп-апы лидогенерации — и у каждой механики были свои показатели прироста. За десять месяцев CRM-направление дало +14,62% к выручке (кейс).

Стабильность важнее одиночного героического результата. При повторяемой методике uplift перестает быть фигурой речи из презентации и становится вводной для бюджетного комитета.

Как встроить uplift в рутину

В Mindbox и подобных платформах механика контрольных групп встроена — группа исключается из отправки автоматически. Задача команды — каждый раз резервировать хотя бы десять процентов базы и не раздать контролю «маленький бонус, всем же надо».

Отчет лучше свести в шаблон: кампания, размер теста и контроля, целевая метрика, окно атрибуции, относительный и абсолютный прирост, денежный эффект. После третьей-четвертой кампании по такому шаблону уже виден средний uplift канала — именно его берут в бюджетирование на следующий год.