# Как настроить holdout-группу в рассылках: размер, ротация и ошибки, которые обесценивают измерение

> Контрольная группа показывает, сколько денег рассылки приносят на самом деле. Размер holdout, ротация, расчет uplift и ошибки, которые делают измерение бесполезным.

**Рубрика:** Статьи  
**Автор:** Валерия Старостина, CRM-маркетолог, ClientCore  
**Дата:** 2026-10-15

Отчет платформы показывает: рассылки принесли 8 млн рублей за квартал. Финансовый директор смотрит на цифру и задает один вопрос — сколько из этих клиентов купили бы и без письма? В большинстве компаний разговор на этом заканчивается: данных для ответа нет.

Атрибуция по последнему касанию записывает в заслугу канала каждого, кто открыл письмо и купил в течение окна. Лояльный клиент, который и так собирался сделать заказ, весит в отчете столько же, сколько человек, которого письмо реально подтолкнуло. Holdout-группа закрывает эту дыру: части базы рассылки не отправляют вообще, а разница в выручке между теми, кто получает коммуникации, и теми, кто живет без них, и есть настоящий вклад CRM. Как собрать измерение, которому поверит финдиректор, рассказывает Валерия Старостина, CRM-маркетолог ClientCore.

> **Читайте также:** [Атрибуция в CRM-маркетинге: почему last click завышает вклад рассылок и как настроить модель, которой поверит CFO](https://clientcore.ru/blog/articles/atribuciya-v-crm-marketinge-pochemu-last-click-zavyshaet-vklad-rassylok-i-kak-nastroit-model-kotoroy-poverit-cfo)

## Зачем нужна контрольная группа, если отчеты и так показывают выручку

Классическая ситуация: рассылка о распродаже уходит сегменту, который покупает каждый месяц. Окно атрибуции — пять дней после клика. В отчете красивая выручка, а внутри нее сидят люди, которые пришли бы сами. Скидкой при этом оплатили и органический спрос: маржа просела, канал в плюсе на бумаге.

Инкрементальность рассылок — это только та выручка, которая появилась из-за коммуникации. Измерить ее можно одним способом: сравнить похожих людей, которым отправляли, с похожими, которым не отправляли. Для этого и существует контрольная группа в рассылках — глобальный holdout на уровне всей базы.

Запрос «докажите, что это ваши деньги» звучит почти в каждом проекте, где CRM начинает приносить заметную долю выручки. Когда мы выстраивали CRM-коммуникации для «Браво-Оптики» с нуля и за 10 месяцев привели направление к +14,62% выручки, регулярный разбор вклада канала был частью системы ([кейс](https://clientcore.ru/blog/articles/keis-bravo-optika-rost-vyruchki-crm)). Контрольная группа превращает такую цифру из мнения платформы в факт, с которым можно идти к собственнику.

## Какой размер holdout-группы выбрать

Рабочий диапазон для e-com и retail — 5–10% базы. Точка внутри диапазона зависит от трех вещей: размера базы, частоты покупок и длины цикла сделки.

Измерение станет статистически значимым, когда в holdout накопится достаточно покупок. База 300 тысяч с покупкой раз в два месяца: 5% — это 15 тысяч человек и тысячи заказов за квартал, значимость наберется быстро. База 30 тысяч с покупкой раз в полгода: те же 5% дадут 1500 человек и пару сотен заказов за квартал, выводы будут гулять. Здесь берут 10% и горизонт 6–12 месяцев.

Практическое правило: лучше 10% и один квартал наблюдений, чем 3% и бесконечное ожидание значимости. Маленькая группа экономит копейки на «замороженных» отправках и обесценивает все измерение.

> Перед стартом считаю обратным ходом: беру среднюю частоту покупок и прикидываю, сколько заказов накопится в контроле за квартал. Если выходит меньше 500–700 заказов — увеличиваю группу или сразу честно говорю клиенту, что значимый вывод будет через полгода. Один раз видела holdout в 0,5% при редком цикле покупки: за год там набралось 80 заказов, и вся „измерительная“ программа была жестом ради отчета».
>
> — Валерия Старостина, CRM-маркетолог, ClientCore

**Норма**

- размер считают от частоты покупок и длины цикла сделки
- группа репрезентативна базе по RFM-сегментам и среднему чеку
- дата старта, размер и правила зафиксированы до первой рассылки

**Red flag**

- «возьмем 1%, чтобы не жалко» — без расчета значимости
- в holdout случайно попали преимущественно неактивные подписчики
- размер группы меняют по ходу периода, потому что коммерческий директор попросил вернуть людей в рассылки

## Ротация и VIP: как не испортить группу за полгода

Holdout стареет. Люди, которые полгода не получают рассылок, начинают вести себя иначе: одни забывают бренд быстрее обычного, другие, наоборот, чаще приходят сами, потому что их не донимают промо. Плюс вечная группа раздражает коммерческую команду аргументом «10% базы простаивает». Ротация решает обе проблемы: каждые 3–6 месяцев выборку обновляют, прежний состав возвращается в коммуникации. Дату смены фиксируют, чтобы не склеивать разные группы в один аналитический ряд.

VIP-клиенты — отдельный сложный вопрос. Полностью вывести их из эксперимента нельзя: тогда holdout перестает быть репрезентативным, uplift считается по середнякам, а вклад канала в самые крупные чеки остается неизвестным. Рабочий вариант — резервировать ту же долю внутри VIP-сегмента: 5–10% топ-клиентов живут без массовых рассылок один период. Риск недополученной выручки существует, но он ограничен рамками периода и измерим. Это плата за знание.

Отдельно решают вопрос с триггерами. Транзакционные и сервисные письма — подтверждение заказа, статус доставки — идут всем, это гигиена. Промо-триггеры вроде брошенной корзины для чистоты эксперимента в holdout тоже отключают, но многие идут на компромисс: глобальный holdout держат по массовым кампаниям, а триггерные цепочки меряют точечными контрольными группами.

> Ротируем каждый квартал, и дата ротации — обязательное поле в документации эксперимента. Был проект, где holdout не трогали полтора года: когда сравнили группу со свежей случайной выборкой, поведение разошлось на 12% просто от долгого молчания канала. Получается, весь этот срок компания измеряла эффект затухания, а вклад рассылок так и не узнала».
>
> — Валерия Старостина, CRM-маркетолог, ClientCore

**Норма**

- ротация раз в 3–6 месяцев с зафиксированной датой смены состава
- VIP резервируются пропорционально — та же доля внутри сегмента
- транзакционные письма получают все, включая holdout

**Red flag**

- состав группы не менялся больше года
- VIP выведены из эксперимента целиком «чтобы не рисковать»
- ради распродажи группу временно включают в оборот, а потом продолжают мерить как ни в чем не бывало

## Как считать uplift в деньгах

Чтобы оценить uplift рассылки на языке денег, берут среднюю выручку на клиента в основной группе за период и вычитают среднюю выручку на клиента в holdout. Разница, умноженная на размер основной группы, — инкрементальная выручка канала.

Пример с условными цифрами. Основная группа — 270 тысяч человек, выручка на клиента за квартал — 340 рублей. Holdout — 30 тысяч, выручка на клиента — 290 рублей. Разница 50 рублей × 270 тысяч = 13,5 млн рублей инкрементальной выручки за квартал. Дальше из нее вычитают стоимость канала: платформа, команда, скидочная маржа в промо. Получается ROMI, который можно защитить.

Два нюанса. Первый: считайте по марже тоже. Uplift по выручке может существовать при нулевом uplift по марже — вся разница уйдет в скидки. Второй: период наблюдения — минимум два полных цикла покупки. При цикле 90 дней смотреть на данные через месяц бессмысленно.

В контрольной группе нет ни открытий, ни кликов — люди не получают писем. Сравнивать группы можно по одному: покупкам и деньгам. Метрики вовлеченности для измерения вклада канала не работают в принципе.

> Обязательно считаю uplift по марже, потому что по выручке картина обманчива. В одном проекте разница между группами по выручке была +9%, а по марже — +1,5%: почти весь эффект съело промодавление. После этого пересобрали механики — убрали скидку там, где клиент покупал и без нее. Именно ради таких находок holdout и существует».
>
> — Валерия Старостина, CRM-маркетолог, ClientCore

## Ошибки, из-за которых holdout работает формально

Holdout, который вроде бы существует, но ничего не доказывает, встречается чаще, чем рабочий. Типичные причины:

**Группу забывают исключить из кампаний.** Holdout заведен в платформе, но в фильтре конкретной рассылки его не сняли — и «контрольные» люди получили письмо. Проверка простая: раз в месяц сверять, уходили ли кампании на состав группы.

**Группа нерепрезентативна.** Туда слили «мусор»: давно неактивных, отписавшихся от части тем. До старта нужна AA-проверка — 2–4 недели смотрят, совпадает ли поведение групп без эксперимента. Если выручка на клиента различается больше чем на пару процентов еще до старта, выборку пересобирают.

**Короткий период.** Месяц наблюдений при цикле покупки 90 дней дает шум, а не вывод.

**Параллельные изменения.** В середине периода запустили новую механику на всю базу или включили ретаргетинг на всех — вклад канала размыт, измерение начинается заново.

**Измерение охватом.** Когда рассылки идут всей базе без сегментов, а успех меряется числом отправок, контрольная группа превращается в декорацию. Мы пересобирали рассылки MINIDINO со ставкой на точность вместо охвата — это дало +110% к эффективности email за квартал ([кейс](https://clientcore.ru/blog/articles/keis-minidino-rost-effektivnosti-email)). Точность начинается с чистого сравнения.

## Порядок внедрения с нуля

Если holdout у вас еще не настроен, последовательность такая:

1. Зафиксировать цель измерения: на какой вопрос отвечаем (вклад массовых кампаний в выручку за квартал), в каких деньгах, кому приносим ответ. 2. Рассчитать размер группы от базы, частоты покупок и цикла сделки. 3. Собрать случайную выборку и прогнать AA-проверку 2–4 недели. 4. Настроить исключение глобально, на уровне платформы, чтобы каждая новая кампания резала группу автоматически. Ручные фильтры в каждой рассылке — источник ошибки номер один. 5. Прописать правила ротации: период, дата смены состава, что делаем с VIP. 6. Раз в период считать uplift в выручке и марже — и приносить финансовому директору одну цифру.

> Самое ценное в holdout — дисциплина, а технически он настраивается за день. В Mindbox это глобальный сегмент-исключение плюс календарь ротаций. Сложности начинаются на третий месяц, когда кто-то просит „пустить по контролю распродажу, ненадолго“. Роль CRM-маркетолога здесь — охранять чистоту эксперимента, потому что одна такая уступка сжигает весь период наблюдений».
>
> — Валерия Старостина, CRM-маркетолог, ClientCore

> **Читайте также:** [Анализ реактивации: как смотреть на winback-кампании по деньгам, а не по числу возвращенных подписчиков](https://clientcore.ru/blog/articles/analiz-reaktivacii-kak-smotret-na-winback-kampanii-po-dengam-a-ne-po-chislu-vozvraschennyh-podpischikov)

---

[Открыть статью на сайте](https://clientcore.ru/blog/articles/kak-nastroit-holdout-gruppu-v-rassylkah-razmer-rotaciya-i-oshibki-kotorye-obescenivayut-izmerenie)