Uplift: что это такое и как считать прирост от коммуникаций
Uplift — разница в выручке между группой, которой ушла рассылка, и контрольной группы без нее. Формула, пример с цифрами и перевод результата в ROI канала.
Письмо ушло на 200 тысяч контактов. Отчет в Mindbox показывает 2,4 млн выручки, маркетолог несет цифру финансовому директору. А тот задает простой вопрос: сколько из этих денег появилось бы и без рассылки? Если в команде на этот вопрос нет ответа, бюджет канала защищается на честном слове.
Uplift — метрика, которая дает этот ответ. О ней, о контрольных группах и о том, как прирост превращается в ROI канала, рассказывает Василина Бреусенко, CRM-маркетолог ClientCore.
ЧИТАЙТЕ ТАКЖЕ
«Время отправки — самый дешевый фактор для теста: разброс по кликам между слотами доходит до двух раз. Как выбрать часы, разбить базу без пересечений и проверить алгоритм Mindbox.»
Uplift — прирост ключевой метрики, который создала коммуникация: выручки, конверсии, числа заказов. Механика простая. Базу делят на две случайные группы. Одной уходит письмо, пуш или SMS, вторая остается в покое. Разница в результате между ними — и есть uplift.
По-русски это называется инкрементальностью — вкладом канала, очищенным от органики. Если бы письмо не ушло, часть клиентов купила бы в любом случае. Их выручка в uplift расчет не идет.
Коммерческий директор редко спрашивает про открытия и клики. Его вопрос звучит так: „а если мы месяц ничего не будем отправлять, сколько потеряем?" Uplift дает цифру для этого разговора — и канал перестает защищаться верой в атрибуцию».
Василина Бреусенко
CRM-маркетолог, ClientCore
Почему атрибуция переоценивает канал
Стандартный отчет платформы считает выручку по касанию или последнему клику. Клиент открыл письмо — заказ записан на email. Проблема: постоянные покупатели открывают почти все, поэтому каналу приписывают органическую выручку.
Пример из практики. Акция ушла на всю базу, отчет показал 1,8 млн выручки email-канала. Замер на контрольной группе дал uplift в 25%: реальный прирост из этих 1,8 млн — порядка 360 тысяч. Остальное — органика, которую атрибуция подарила каналу.
Норма
выручку канала проверяют через контрольную группу
органику считают по тем, кто коммуникацию не получал
финдиректору уходит цифра прироста, а не вся выручка касаний
Red flag
email «приносит» 30% выручки компании по последнему клику
в отчете заказы пересекаются между email, push и SMS
на вопрос «а без письма купили бы?» ответа нет
В аудитах мы первым делом разводим эти цифры. Для Tripster, например, проверили, где на самом деле теряется выручка канала, — и часть «результата» email оказалась органикой, которую атрибуция записала на рассылки(кейс).
Как считать uplift: формула и пример
Формула одна для любой метрики:
Uplift = (Метрика тестовой группы − Метрика контрольной группы) / Метрика контрольной группы × 100%
На цифрах. Акция, тестовая группа — 10 000 контактов, контрольная — 10 000:
То же считается по конверсии: (5,2% − 4,0%) / 4,0% = 30%. Какую метрику брать, зависит от цели. Для акции — выручка. Для welcome-цепочки иногда чище считать число первых заказов, потому что средний чек там еще не устоялся.
Контрольная группа: условие честного расчета
Контрольная группа — это holdout: зафиксированная доля базы, которую систематически не трогают. Обычно 5–10% контактов, собранных случайным образом. Группу не пересобирают от кампании к кампании — иначе вы раз за разом «щадите» одних и тех же людей и искажаете картину.
Самая частая поломка — контроль, собранный из „не открывших письмо". Это группа другого качества: в ней меньше активных клиентов, и uplift систематически занижается. Рандомизация в Mindbox настраивается за десять минут, а экономит месяцы споров с финансами».
Василина Бреусенко
CRM-маркетолог, ClientCore
Норма
holdout в 5–10% базы собран случайно
группа фиксирована и не меняется каждую кампанию
сегментный состав и сезонность у групп одинаковые
Red flag
контроль — это «не открывшие письмо»
размер контроля меняется от отправки к отправке
на кампанию ушла вся база, «контроль не нужен, решаем скорость»
Когда чистый uplift посчитать не выйдет
Малая база. При конверсии в 4% и 5 000 контактов в группе разница в десятые доли процента — это шум. Для интерпретации в каждой группе за период замера должны набираться сотни заказов.
Сезонные кампании. Сравнение «новогодняя акция против сентябрьской» не работает: органика в эти периоды разная, и разница групп ничего не доказывает.
Триггеры на горячее действие — корзина, welcome. Ставить здесь контроль коммерчески жалко: вы сознательно лишаете часть аудитории самой конверсионной механики. В таких цепочках uplift проверяют редкими выборочными holdout — один замер в квартал вместо постоянного.
От uplift — к ROI канала
Прирост сам по себе не отвечает на вопрос «окупается ли канал». Для этого считают ROI: инкрементальную выручку минус стоимость канала, разделить на ту же стоимость.
Пример. Канал дает 120 000 руб прироста в месяц, а стоит 60 000 — платформа, агентство, скидочные механики. ROI = (120 000 − 60 000) / 60 000 = 100%. Если при тех же затратах uplift приносит 30 000, ROI уходит в минус — и вопрос уже не «как улучшить креатив», а «нужен ли этот канал в таком виде».
По этому расчету мы в одном проекте урезали SMS-расходы: канал рисовал выручку в отчете, а uplift по контрольной группе выходил около нуля. Освободившийся бюджет ушли в email, и суммарный прирост по направлению вырос».
Василина Бреусенко
CRM-маркетолог, ClientCore
ЧИТАЙТЕ ТАКЖЕ
«Open rate после Apple MPP показывает погоду. Смотрим, какие гипотезы тестировать в теме письма и как выбирать победителя по кликам и конверсии.»
A/B-тест сравнивает две версии коммуникации между собой — какой шаблон или текст сработал лучше. Uplift сравнивает коммуникацию с ее отсутствием. Оба опыта нужны, но отвечают на разные вопросы.
Какого размера должна быть контрольная группа?
Обычно 5–10% базы. Критерий важнее цифры: за период замера в каждой из групп должны набираться сотни заказов. Иначе разница в пару десятых процента — статистический шум, а не сигнал.
Можно ли посчитать uplift без контрольной группы?
Строго — нет. Сравнение «до/после» или с похожим сегментом дает грубую прикидку: органика и сезонность остаются внутри цифры. Для разового решения сойдет, для защиты бюджета перед финансами — нет.
Что делать, если uplift канала отрицательный?
Проверять частоту отправок, пересечение с другими каналами и качество сегментов. Частая ситуация: SMS «скликивает» заказы, которые без него закрывались бы через email. В отчете такой канал положительный, по uplift — работает в минус.
