Сверка модели с экспериментами: как A/B-тест уточняет эластичность

Пример на числах

В регионе «Север» на месяц подняли бюджет «Контекста» на 30 %, в соседнем оставили как было. Заказы в «Севере» выросли на 6 % относительно контроля.

1. Тест → эластичность. ln 1,06 ÷ ln 1,30 = 0,0583 ÷ 0,2624 = 0,22. Из интервала эффекта в таблице теста погрешность — ±0,08.
2. Модель. По истории модель дала срезу «Север · Контекст» 0,50 ± 0,20.
3. Веса. Вес = 1 ÷ погрешность². У модели 1 ÷ 0,20² = 25, у теста 1 ÷ 0,08² = 156.
4. Итог. (0,50 × 25 + 0,22 × 156) ÷ 181 = 0,26. Погрешность итога — 1 ÷ √181 = 0,07.

Точка сдвинулась к тесту, а интервал стал уже, чем у модели и у теста по отдельности. На экране: «вес теста в итоге: 86 %», «интервал уже на 63 %».

Почему так

Точный тест двигает модель сильно, грубый — почти никак. Тест с погрешностью ±0,40 получил бы вес 6 против 25 у модели и сдвинул бы её с 0,50 только до 0,44.

С меньшим весом идут тесты короче двух недель, старше года, вне периода данных модели, без интервала, по метрике ниже в цепочке. Причина написана в строке теста на шаге 6 мастера.

Тест меняет срез, на котором шёл, и вложенные в него срезы. Вложенный срез с богатой собственной историей сдвигается слабо, с бедной — идёт за родителем. Соседние срезы и уровень выше не меняются.

Тест «реклама выключена»

Такой тест измеряет долю продаж от рекламы, а не наклон кривой. Если без рекламы заказов стало на 12 % меньше, реклама даёт 12 % продаж — и +1 % бюджета точно не даст больше +0,12 %. MARFOR переводит такой тест в эластичность осторожнее и с запасом по погрешности.

Как читать блок на экране

Блок «Эксперименты и внешние данные в модели» на экране результатов — только если на шаге 6 были подходящие тесты или ряды.

• По каждому срезу — три полосы: серая «Модель по истории», синяя «Тест» (или «Тесты (N)»), зелёная «Итог», который идёт в сценарии. Справа — числа и интервал в квадратных скобках.
• Под названием среза — тесты, «вес теста в итоге», «интервал уже на …» и «вложенных срезов сдвинуто: N».
• Жёлтые пометки: «Тест сильно расходится с историей: модель давала 0,50, тест — 0,05…» — итог опирается на более точный из двух; проверьте, что тест шёл на всём срезе. «Итог получился ниже нуля и приведён к 0» — отрицательную эластичность сценарий не применяет.
• «Не применены» — тесты, которые не дошли до модели, с причиной: например, «срез исключён из модели на шаге 5».
• «Внешние ряды» — подключённые рыночные ряды: «метрика растёт вместе с рядом, влияние подтверждено» или «не отличимо от нуля»; «модель не взяла ряд: …».

Что это меняет в решениях

• Сценарий и оптимизатор считают по зелёному «Итогу», а не по оценке модели.
• Сильное расхождение теста и модели — повод разобраться, а не выбрать понравившееся число. Частые причины: тест шёл на части среза, в тот же месяц была акция, тест мерил другую метрику.
• Тест полезнее всего там, где интервал модели широкий: при узком интервале модели вес теста будет небольшим.

Ограничения

• Тест уточняет один срез и вложенные в него. Чтобы уточнить канал целиком, нужен тест на уровне канала.
• Пока эксперименты применяются только к основной связке «драйвер → зависимая».
• Тест — тоже оценка со своей погрешностью: короткий или старый тест мог поймать не тот эффект.

Для любознательных

Эластичность теста на изменение бюджета: ε = ln(1 + эффект) ÷ ln(1 + изменение расхода). Погрешность берётся из интервала эффекта, стандартной ошибки или p-value; если их нет — грубо, ±50 % от эффекта.

Итог среза — среднее модели и теста с весами 1 ÷ погрешность²: ε = (ε₁w₁ + ε₂w₂) ÷ (w₁ + w₂), погрешность = 1 ÷ √(w₁ + w₂). Если тестов на одном срезе несколько, сначала они сводятся в одну оценку тем же способом.