Как настроить holdout-группу в рассылках: размер, ротация и ошибки, которые обесценивают измерение

Отчет платформы показывает: рассылки принесли 8 млн рублей за квартал. Финансовый директор смотрит на цифру и задает один вопрос — сколько из этих клиентов купили бы и без письма? В большинстве компаний разговор на этом заканчивается: данных для ответа нет.

Атрибуция по последнему касанию записывает в заслугу канала каждого, кто открыл письмо и купил в течение окна. Лояльный клиент, который и так собирался сделать заказ, весит в отчете столько же, сколько человек, которого письмо реально подтолкнуло. Holdout-группа закрывает эту дыру: части базы рассылки не отправляют вообще, а разница в выручке между теми, кто получает коммуникации, и теми, кто живет без них, и есть настоящий вклад CRM. Как собрать измерение, которому поверит финдиректор, рассказывает Валерия Старостина, CRM-маркетолог ClientCore.

Зачем нужна контрольная группа, если отчеты и так показывают выручку

Классическая ситуация: рассылка о распродаже уходит сегменту, который покупает каждый месяц. Окно атрибуции — пять дней после клика. В отчете красивая выручка, а внутри нее сидят люди, которые пришли бы сами. Скидкой при этом оплатили и органический спрос: маржа просела, канал в плюсе на бумаге.

Инкрементальность рассылок — это только та выручка, которая появилась из-за коммуникации. Измерить ее можно одним способом: сравнить похожих людей, которым отправляли, с похожими, которым не отправляли. Для этого и существует контрольная группа в рассылках — глобальный holdout на уровне всей базы.

Запрос «докажите, что это ваши деньги» звучит почти в каждом проекте, где CRM начинает приносить заметную долю выручки. Когда мы выстраивали CRM-коммуникации для «Браво-Оптики» с нуля и за 10 месяцев привели направление к +14,62% выручки, регулярный разбор вклада канала был частью системы (кейс). Контрольная группа превращает такую цифру из мнения платформы в факт, с которым можно идти к собственнику.

Какой размер holdout-группы выбрать

Рабочий диапазон для e-com и retail — 5–10% базы. Точка внутри диапазона зависит от трех вещей: размера базы, частоты покупок и длины цикла сделки.

Измерение станет статистически значимым, когда в holdout накопится достаточно покупок. База 300 тысяч с покупкой раз в два месяца: 5% — это 15 тысяч человек и тысячи заказов за квартал, значимость наберется быстро. База 30 тысяч с покупкой раз в полгода: те же 5% дадут 1500 человек и пару сотен заказов за квартал, выводы будут гулять. Здесь берут 10% и горизонт 6–12 месяцев.

Практическое правило: лучше 10% и один квартал наблюдений, чем 3% и бесконечное ожидание значимости. Маленькая группа экономит копейки на «замороженных» отправках и обесценивает все измерение.

Перед стартом считаю обратным ходом: беру среднюю частоту покупок и прикидываю, сколько заказов накопится в контроле за квартал. Если выходит меньше 500–700 заказов — увеличиваю группу или сразу честно говорю клиенту, что значимый вывод будет через полгода. Один раз видела holdout в 0,5% при редком цикле покупки: за год там набралось 80 заказов, и вся „измерительная“ программа была жестом ради отчета».

Валерия Старостина

CRM-маркетолог, ClientCore

Ротация и VIP: как не испортить группу за полгода

Holdout стареет. Люди, которые полгода не получают рассылок, начинают вести себя иначе: одни забывают бренд быстрее обычного, другие, наоборот, чаще приходят сами, потому что их не донимают промо. Плюс вечная группа раздражает коммерческую команду аргументом «10% базы простаивает». Ротация решает обе проблемы: каждые 3–6 месяцев выборку обновляют, прежний состав возвращается в коммуникации. Дату смены фиксируют, чтобы не склеивать разные группы в один аналитический ряд.

VIP-клиенты — отдельный сложный вопрос. Полностью вывести их из эксперимента нельзя: тогда holdout перестает быть репрезентативным, uplift считается по середнякам, а вклад канала в самые крупные чеки остается неизвестным. Рабочий вариант — резервировать ту же долю внутри VIP-сегмента: 5–10% топ-клиентов живут без массовых рассылок один период. Риск недополученной выручки существует, но он ограничен рамками периода и измерим. Это плата за знание.

Отдельно решают вопрос с триггерами. Транзакционные и сервисные письма — подтверждение заказа, статус доставки — идут всем, это гигиена. Промо-триггеры вроде брошенной корзины для чистоты эксперимента в holdout тоже отключают, но многие идут на компромисс: глобальный holdout держат по массовым кампаниям, а триггерные цепочки меряют точечными контрольными группами.

Ротируем каждый квартал, и дата ротации — обязательное поле в документации эксперимента. Был проект, где holdout не трогали полтора года: когда сравнили группу со свежей случайной выборкой, поведение разошлось на 12% просто от долгого молчания канала. Получается, весь этот срок компания измеряла эффект затухания, а вклад рассылок так и не узнала».

Валерия Старостина

CRM-маркетолог, ClientCore

Как считать uplift в деньгах

Чтобы оценить uplift рассылки на языке денег, берут среднюю выручку на клиента в основной группе за период и вычитают среднюю выручку на клиента в holdout. Разница, умноженная на размер основной группы, — инкрементальная выручка канала.

Пример с условными цифрами. Основная группа — 270 тысяч человек, выручка на клиента за квартал — 340 рублей. Holdout — 30 тысяч, выручка на клиента — 290 рублей. Разница 50 рублей × 270 тысяч = 13,5 млн рублей инкрементальной выручки за квартал. Дальше из нее вычитают стоимость канала: платформа, команда, скидочная маржа в промо. Получается ROMI, который можно защитить.

Два нюанса. Первый: считайте по марже тоже. Uplift по выручке может существовать при нулевом uplift по марже — вся разница уйдет в скидки. Второй: период наблюдения — минимум два полных цикла покупки. При цикле 90 дней смотреть на данные через месяц бессмысленно.

В контрольной группе нет ни открытий, ни кликов — люди не получают писем. Сравнивать группы можно по одному: покупкам и деньгам. Метрики вовлеченности для измерения вклада канала не работают в принципе.

Обязательно считаю uplift по марже, потому что по выручке картина обманчива. В одном проекте разница между группами по выручке была +9%, а по марже — +1,5%: почти весь эффект съело промодавление. После этого пересобрали механики — убрали скидку там, где клиент покупал и без нее. Именно ради таких находок holdout и существует».

Валерия Старостина

CRM-маркетолог, ClientCore

Ошибки, из-за которых holdout работает формально

Holdout, который вроде бы существует, но ничего не доказывает, встречается чаще, чем рабочий. Типичные причины:

Группу забывают исключить из кампаний. Holdout заведен в платформе, но в фильтре конкретной рассылки его не сняли — и «контрольные» люди получили письмо. Проверка простая: раз в месяц сверять, уходили ли кампании на состав группы.

Группа нерепрезентативна. Туда слили «мусор»: давно неактивных, отписавшихся от части тем. До старта нужна AA-проверка — 2–4 недели смотрят, совпадает ли поведение групп без эксперимента. Если выручка на клиента различается больше чем на пару процентов еще до старта, выборку пересобирают.

Короткий период. Месяц наблюдений при цикле покупки 90 дней дает шум, а не вывод.

Параллельные изменения. В середине периода запустили новую механику на всю базу или включили ретаргетинг на всех — вклад канала размыт, измерение начинается заново.

Измерение охватом. Когда рассылки идут всей базе без сегментов, а успех меряется числом отправок, контрольная группа превращается в декорацию. Мы пересобирали рассылки MINIDINO со ставкой на точность вместо охвата — это дало +110% к эффективности email за квартал (кейс). Точность начинается с чистого сравнения.

Порядок внедрения с нуля

Если holdout у вас еще не настроен, последовательность такая:

1. Зафиксировать цель измерения: на какой вопрос отвечаем (вклад массовых кампаний в выручку за квартал), в каких деньгах, кому приносим ответ. 2. Рассчитать размер группы от базы, частоты покупок и цикла сделки. 3. Собрать случайную выборку и прогнать AA-проверку 2–4 недели. 4. Настроить исключение глобально, на уровне платформы, чтобы каждая новая кампания резала группу автоматически. Ручные фильтры в каждой рассылке — источник ошибки номер один. 5. Прописать правила ротации: период, дата смены состава, что делаем с VIP. 6. Раз в период считать uplift в выручке и марже — и приносить финансовому директору одну цифру.

Самое ценное в holdout — дисциплина, а технически он настраивается за день. В Mindbox это глобальный сегмент-исключение плюс календарь ротаций. Сложности начинаются на третий месяц, когда кто-то просит „пустить по контролю распродажу, ненадолго“. Роль CRM-маркетолога здесь — охранять чистоту эксперимента, потому что одна такая уступка сжигает весь период наблюдений».

Валерия Старостина

CRM-маркетолог, ClientCore