Сегодня на конференции CPA Life FEST 2025 Майя Воропаева, руководитель направления в LuckyTeam, представила доклад, который стал манифестом системного подхода к A/B-тестированию в арбитраже трафика. Ее выступление под названием «Интуиция — не метрика. Как мы ушли от хаоса к цифрам в A/B тестах» стало одним из самых научных, ведь там обсуждались практические кейсы, как подогнать под процесс работы арбитражной команды научную основу и Байесовскую статистику. Редакция AffTimes.com разбиралась в математических графиках нового подхода.
Завод с иллюзией роста
Только в одном из направлений — Lucky Demonstration — команда генерирует более 230 тысяч кликов в месяц в 27 гео и по 19 категориям офферов. Проект не зависит от Facebook или Google, работая с трафиком из нативных рекламных сетей , где ключевой метрикой успеха является максимизация EPС (Earnings Per Click) через оптимизацию лендингов и промо.
Каждый месяц команда проводит около 410 A/B-тестов — в среднем более 13 в день. При таком объеме тестирования интуитивные решения не просто рискованны, а катастрофичны.
Изначально команда гордилась высоким винрейтом — 48% . Казалось бы, почти каждый второй тест приносит рост. Но бизнес не показывал кратного роста.
В компании возник вопрос: «Почему у нас такие крутые показатели, но роста нет? Наверное, мы просто неправильно считаем. И мы начали задаваться вопросом: а может, мы живем в иллюзии роста?», — поясняет Майя.
Как принимают решения в арбитраже: принцип угадайки
Майя рассказала, что в ходе общения с другими арбитражниками часто слышала:
«На 10 тысяч кликов видим, что конверт растет — думаем, вариант B лучше. Оставляем его. Ну, кажется, что лучше».
Один из ее знакомых назвал этот подход подходом под ощущениям, без статистики.
«Если вы так проводите A/B-тесты — вы просто подбрасываете монетку. Это угадайка» , — подчеркнула она.
Решение: статистическая значимость вместо интуиции
Команда перестроила весь процесс A/B-тестирования вокруг одного ключевого понятия — статистическая значимость.
«Статистическая значимость — это уверенность, что разница между вариантами не случайна. Только тогда вы можете быть уверены, что выбрали лучший вариант», — отметила спикер конференции.
Однако классические методы анализа требуют огромных объемов трафика, что замедляет тестирование и увеличивает затраты. Чтобы найти баланс между скоростью и достоверностью, в итоге команда Майи обратилась к Байесовскому анализу.
Статистика вместо монетки: как ставить диагноз раньше и дешевле
LuckyTeam внедрила Байесовский анализ — метод, разработанный еще в XVIII веке Томасом Байесом. В отличие от классических подходов, он позволяет:
- Оценивать результаты на каждом этапе теста (например, после 5–10 тыс. кликов);
- Говорить не только «какой вариант лучше», но и «на сколько процентов» он лучше — то есть, говорить на языке бизнеса;
- Принимать решение раньше, не дожидаясь полного пролива;
- Останавливать провальные тесты, экономя трафик и бюджет.
«Этот метод говорит: «С 80% уверенностью вариант B лучше на 12%». И по мере пролива трафика он уточняет прогноз», — объяснила Майя.
Поскольку готовых инструментов под их критерии не нашлось, команда разработала собственный калькулятор на основе Байесовского анализа, который теперь используется во всех тестах.
Правила нового процесса: жесткий отбор гипотез
В LuckyTeam ввели два ключевых правила:
- Тест продолжается только если EPС вырос более чем на 10% на первых 5–10 тыс. кликов.
Если рост слабый — гипотеза считается нежизнеспособной, тест останавливается. - Диагноз ставится только при уверенности 95% и выше.
Ниже — данные недостаточны, продолжаем доливать трафик.
Кейс 1: Ложный победитель на 6 тыс. кликов
Задача: сравнить два варианта промо (вариант 1 и вариант 2).
- На 6 тыс. кликов вариант 2 показал рост EPС, SIAR и APRUB.
- По старой логике — он победил.
- Но Байесовский калькулятор показал только 85% уверенности в его преимуществе.
Команда решила долить до 32 тыс. кликов . Результат:
- Вариант 2 проиграл по всем метрикам (EPС, SIAR, ACRU).
- Байес теперь с 90% уверенностью утверждал, что вариант 1 лучше .
«Если бы мы остановились на 6 тыс., мы бы ухудшили свою экономику и потеряли деньги» , — резюмировала Майя.
Кейс 2: Видео против текста — подтверждение гипотезы
Тест: текстовые лендинги (вариант 1) vs. видеолендинги (вариант 2).
- На 10 тыс. кликов вариант 2 показал рост EPС.
- Байес — 86% уверенности, что он лучше.
- Команда долила до 33 тыс. кликов.
- Результат: EPС и другие метрики продолжили расти.
- Байес достиг 96% уверенности — вариант 2 победил.
Этот кейс показал, что новый подход не только предотвращает ошибки, но и подтверждает правильные решения.
Результаты: от 48% до 15,8% — и настоящий рост
После внедрения новой системы компания пришла к таким выводам:
- Победы перестали быть иллюзией — они коррелируют с реальным ростом бизнеса.
- Команда экономит трафик, останавливая провальные тесты раньше.
- Байеры стали думать масштабнее — им больше не интересны слабые гипотезы.
«Мы перестали жить в иллюзии роста. У нас появилась уверенность в выборе», — подчеркнула Майя.
Вывод: арбитраж — это не угадайка, а наука
Майя Воропаева призвала арбитражников отказаться от интуиции и перейти к научному подходу. А именно: использовать статистическую значимость, примерять Байесовский анализ и не доверять чувствам, а останавливать тесты, которые не дают минимум +10% к EPС.
Инсайды, экспертный контент и новости арбитража – в нашем ТГ-канале!
