A/B-тестирование рассылок как услуга: почему год самостоятельных тестов не дал ни одного решения

Знакомая картина: в CRM-команде A/B-тесты идут чуть ли не в каждой второй рассылке. Тема с эмодзи против темы без эмодзи, синяя кнопка против оранжевой, отправка в 10:00 против 18:00. В таблице с результатами за год набирается полсотни строк. Директор по маркетингу спрашивает, что из этого внедрили в постоянную работу и сколько это принесло. Команда открывает таблицу и понимает, что ответить нечего: половина тестов «без явного победителя», в другой половине разница в десятые доли процента. Повторить такой результат никто не решится.

При этом деньги потрачены. Это часы дизайнера на второй вариант письма, время маркетолога на настройку, время аналитика на сводку. А главное, потрачен трафик базы, на котором можно было проверить что-то действительно важное для выручки. Мы спросили CRM-маркетолога ClientCore Валерию Старостину, почему так происходит в компаниях с нормальной базой и внедренным Mindbox и что меняется, когда тестами начинают управлять как программой.

Как выглядит год тестов, после которого нечего внедрить

У команд, которые приходят к нам с запросом на A/B-тестирование рассылок, симптомы почти всегда совпадают. Тест запускается потому, что «надо тестировать», а гипотезу формулируют уже после того, как сделаны два варианта письма. Победителя определяют по open rate через несколько часов после отправки. Результат записывают в таблицу, и на этом история заканчивается: в шаблоны и сценарии вывод не попадает.

Вторая типичная деталь: тесты живут только в массовых рассылках. Триггерные цепочки, которые часто приносят больше выручки на одного получателя, годами работают в той версии, в которой их когда-то настроили. Тестировать их сложнее: нужно разделение потока, время на накопление выборки, понимание, как цепочка влияет на соседние коммуникации. Поэтому за них просто не берутся.

Мы как-то разбирали журнал тестов клиента за 14 месяцев: 62 эксперимента, из них 41 — темы писем. Значимого результата по выручке не получили ни в одном. По открытиям значимых было восемь, но после того как мы исключили открытия, которые генерирует Apple Mail Privacy Protection, их осталось три. И ни один из трех не был внедрен как правило».

Валерия Старостина

CRM-маркетолог, ClientCore

Почему все тестируют темы писем

Тема письма — самый дешевый тест. Второй вариант пишется за пять минут, в Mindbox он настраивается в пару кликов, а результат виден уже к вечеру. К тому же открытия — метрика с высокой базовой частотой: если письмо открывают 20% получателей, даже на небольшой рассылке набирается достаточно событий для расчета.

Проблема в том, куда эта метрика ведет. Рост открытий на два процентных пункта редко превращается в рост заказов. Цепляющая тема может привлечь любопытных, которые закроют письмо через три секунды. А с тех пор как почтовые клиенты начали автоматически подгружать пиксели, часть «открытий» вообще не связана с живым человеком. В итоге команда год оптимизирует показатель, который слабо коррелирует с деньгами, и не понимает, почему выручка канала стоит на месте.

Отсюда простое правило: метрика теста должна совпадать с той, ради которой бизнес держит канал. Для e-commerce и ритейла это выручка на получателя, конверсия в заказ или доля повторных покупок. Клики допустимы как промежуточная метрика, если тест про контент письма и есть понятная связь с покупкой. Открытия годятся разве что для проверки доставляемости.

Сколько получателей нужно, чтобы тесту можно было верить

Здесь большинство самостоятельных программ и ломается. Статистическая значимость A/B-теста зависит от трех вещей: базовой конверсии, размера эффекта, который вы хотите поймать, и объема выборки. Чем реже происходит целевое событие, тем больше людей нужно в каждой группе.

Посчитаем на цифрах. Пусть конверсия массовой рассылки в заказ — 1,5%, и вы хотите заметить рост на 10% в относительных величинах, то есть до 1,65%. Для уровня значимости 5% и мощности 80% понадобится около 110 тысяч получателей в каждой группе. Тест на открытиях при базе 20% и том же относительном эффекте требует около 6–7 тысяч человек в группе. Разница больше чем в пятнадцать раз, и именно поэтому команды неосознанно уходят в тесты тем: там хоть что-то «прокрашивается».

Что делать, если активная база — 150 тысяч контактов? Варианты есть. Можно копить выборку на нескольких отправках подряд с одной и той же гипотезой. Можно тестировать в триггерах, где поток идет постоянно и нужная выборка набирается за 3–6 недель. Можно сознательно искать гипотезы с крупным ожидаемым эффектом — 20–30%, а не 3%. Чего делать нельзя, так это смотреть на результат каждый день и останавливать тест в момент, когда один из вариантов вырвался вперед. Такое «подглядывание» многократно повышает шанс принять случайное колебание за победу.

Гипотеза, у которой есть цена

Хорошая гипотеза для A/B-тестирования в CRM-маркетинге звучит как утверждение о поведении клиента с прогнозом в деньгах. Например: «Клиенты, сделавшие вторую покупку больше 60 дней назад, не реагируют на скидку 10%, но откликаются на подборку по прошлой категории. Если заменить скидочное письмо на подборку, выручка на получателя в сегменте вырастет на 15%, а расходы на промо снизятся». Здесь понятно, кого тестируем, что меняем, какую метрику смотрим и что будет, если гипотеза подтвердится.

Сравните с «попробуем тему с вопросом». В ней нет ни сегмента, ни механизма, ни ответа на вопрос, что мы сделаем с результатом. Даже если вопросительная тема выиграет, непонятно, распространять ли вывод на все рассылки, на часть аудитории или это был эффект конкретного инфоповода.

Прежде чем ставить гипотезу в план, мы оцениваем ее потенциал: сколько клиентов затронет изменение, какая доля выручки проходит через эту точку и какой эффект реалистичен. Гипотеза, которая при успехе даст +40% к письму с долей 0,5% в выручке канала, уступает гипотезе с +8% к welcome-цепочке, через которую проходит каждый новый клиент.

Я прошу команду клиента ответить на один вопрос до запуска: что мы поменяем в работе, если победит вариант B? Если ответа нет, тест в план не попадает. На одном проекте такой фильтр срезал бэклог с 30 идей до девяти — и эти девять за квартал дали больше, чем весь предыдущий год экспериментов».

Валерия Старостина

CRM-маркетолог, ClientCore

Как устроена программа экспериментов, которую ведет агентство

Когда клиент заказывает A/B-тестирование рассылок как услугу, он получает систему с понятным циклом. Начинаем с аудита: смотрим, какие сценарии и рассылки приносят выручку, где провалы в воронке, как настроены контрольные группы в Mindbox и можно ли вообще доверять атрибуции. Бывает, что тестировать рано: сначала нужно починить сбор заказов или разметку, иначе любой эксперимент покажет шум.

Дальше собираем бэклог гипотез с оценкой потенциала и считаем для каждой необходимую выборку. Это сразу отсекает идеи, которые база не потянет. Из оставшегося формируем план на квартал: какие тесты идут параллельно, а какие нельзя запускать одновременно, потому что они пересекаются по аудитории. Отдельно планируем тесты в триггерах: у них свой ритм, и выводы там обычно получаются устойчивыми.

Для каждого теста заводится карточка: гипотеза, сегмент, метрика, минимальный эффект, расчетная длительность, правило принятия решения. После завершения проводим разбор с доверительным интервалом и принимаем конкретное решение: внедряем, отклоняем или уточняем гипотезу и повторяем на другом сегменте. Все карточки складываются в журнал, который становится базой знаний о клиентах. Через полгода новый маркетолог в команде за вечер понимает, что уже проверено и почему от чего-то отказались.

Что меняется через квартал

Первое ощутимое изменение: тестов становится меньше. Обычно это пугает клиентов, привыкших к отчетам с длинным списком экспериментов. Зато каждый тест заканчивается решением, и за квартал набирается 5–8 изменений, которые реально внедрены в работу канала.

Второе: команда начинает думать сегментами. Гипотезы про то, кому и что отправлять, в среднем дают больший эффект, чем гипотезы про оформление. Мы видели это не раз: в проекте для MINIDINO отказ от отправок всей базе в пользу точной сегментации дал +110% к эффективности email-рассылок за квартал без роста числа отправок (кейс). Ни одна тема письма такого прироста не дает.

Третье: растет скорость. Программа экспериментов упирается в производство: если каждое письмо собирается неделю, второй вариант для теста становится роскошью. Поэтому часто вместе с запуском программы мы пересобираем шаблоны. У FINNTRAIL подготовка письма занимала полторы недели, после перехода на новый шаблон — 2 часа, а выручка email-канала выросла на 15% (кейс). Когда вариант письма собирается за пару часов, тестировать содержательные гипотезы становится реально.

Главное, что клиент получает через квартал, — отчет, который понимает финансовый директор. Мы показываем: вот четыре внедренных решения, вот прирост выручки на получателя по каждому с интервалом, вот гипотезы, от которых отказались, и сколько денег мы бы потратили, если бы раскатили их на всю базу вслепую».

Валерия Старостина

CRM-маркетолог, ClientCore

Когда программу экспериментов имеет смысл отдать агентству

Внутренняя команда может вести тесты сама, если в ней есть человек с уверенным знанием статистики, время на планирование и полномочия менять сценарии по итогам. На практике в mid-market эти три условия редко совпадают. CRM-маркетолог закрыт операционкой: календарь рассылок, акции, срочные запросы от категорийных менеджеров. Аналитик сидит в другом отделе и смотрит CRM по остаточному принципу.

Агентство закрывает этот разрыв. Мы берем на себя расчеты, бэклог, карточки и разборы, а команда клиента остается владельцем решений и знаний. Есть и выигрыш от опыта: мы видим, какие типы гипотез стабильно работают в ритейле, fashion, ресторанах, и не тратим месяцы на проверку заведомо слабых идей. Поэтому услуги A/B-тестирования рассылок окупаются быстрее, чем самостоятельный поиск методом проб.

Если вы задумываетесь, как провести A/B-тест email так, чтобы на выходе было решение, начните с ревизии последних 10–15 тестов. Посмотрите, сколько из них имели гипотезу по деньгам, рассчитанную выборку и внедренный результат. Обычно этого упражнения достаточно, чтобы понять масштаб потерь.