# Сверка модели с экспериментами: как A/B-тест уточняет эластичность

> **Коротко.** Результат теста переводится в эластичность и складывается с оценкой модели с весами по точности. Точный тест сдвигает оценку к себе и сужает интервал.

Адрес: https://marfor.pro/docs/how-it-works/model-trust/calibration · Раздел: Как это работает: от данных до плана бюджета › Когда модели можно верить › Сверка модели с экспериментами: как A/B-тест уточняет эластичность · Вид: Понятие · Уровень: средний уровень · Обновлено: 2026-10-14

![Сверка одного среза: модель по истории — 0,50 с 95 %-интервалом 0,11…0,89; тест «бюджет +30 %, заказы +6 %» — 0,22 (0,06…0,38); итог — 0,26 (0,11…0,40). Вес теста в итоге 86 %, итоговый интервал уже модельного на 63 %](https://marfor.pro/docs/img/mdl-calibration.png)

## Пример на числах {#example}

В регионе «Север» на месяц подняли бюджет «Контекста» на 30 %, в соседнем оставили как было. Заказы в «Севере» выросли на 6 % относительно контроля.

1. **Тест → эластичность.** ln 1,06 ÷ ln 1,30 = 0,0583 ÷ 0,2624 = 0,22. Из интервала эффекта в таблице теста погрешность — ±0,08.
2. **Модель.** По истории модель дала срезу «Север · Контекст» 0,50 ± 0,20.
3. **Веса.** Вес = 1 ÷ погрешность². У модели 1 ÷ 0,20² = 25, у теста 1 ÷ 0,08² = 156.
4. **Итог.** (0,50 × 25 + 0,22 × 156) ÷ 181 = 0,26. Погрешность итога — 1 ÷ √181 = 0,07.

Точка сдвинулась к тесту, а интервал стал уже, чем у модели и у теста по отдельности. На экране: «вес теста в итоге: 86 %», «интервал уже на 63 %».

## Почему так {#why}

Точный тест двигает модель сильно, грубый — почти никак. Тест с погрешностью ±0,40 получил бы вес 6 против 25 у модели и сдвинул бы её с 0,50 только до 0,44.

С меньшим весом идут тесты короче двух недель, старше года, вне периода данных модели, без интервала, по метрике ниже в цепочке. Причина написана в строке теста на шаге 6 мастера.

Тест меняет срез, на котором шёл, и вложенные в него срезы. Вложенный срез с богатой собственной историей сдвигается слабо, с бедной — идёт за родителем. Соседние срезы и уровень выше не меняются.

## Тест «реклама выключена» {#on-off}

Такой тест измеряет долю продаж от рекламы, а не наклон кривой. Если без рекламы заказов стало на 12 % меньше, реклама даёт 12 % продаж — и +1 % бюджета точно не даст больше +0,12 %. MARFOR переводит такой тест в эластичность осторожнее и с запасом по погрешности.

## Как читать блок на экране {#on-screen}

Блок «Эксперименты и внешние данные в модели» на экране результатов — только если на шаге 6 были подходящие тесты или ряды.

- **По каждому срезу** — три полосы: серая «Модель по истории», синяя «Тест» (или «Тесты (N)»), зелёная «Итог», который идёт в сценарии. Справа — числа и интервал в квадратных скобках.
- **Под названием среза** — тесты, «вес теста в итоге», «интервал уже на …» и «вложенных срезов сдвинуто: N».
- **Жёлтые пометки**: «Тест сильно расходится с историей: модель давала 0,50, тест — 0,05…» — итог опирается на более точный из двух; проверьте, что тест шёл на всём срезе. «Итог получился ниже нуля и приведён к 0» — отрицательную эластичность сценарий не применяет.
- **«Не применены»** — тесты, которые не дошли до модели, с причиной: например, «срез исключён из модели на шаге 5».
- **«Внешние ряды»** — подключённые рыночные ряды: «метрика растёт вместе с рядом, влияние подтверждено» или «не отличимо от нуля»; «модель не взяла ряд: …».

## Что это меняет в решениях {#decisions}

- Сценарий и оптимизатор считают по зелёному «Итогу», а не по оценке модели.
- Сильное расхождение теста и модели — повод разобраться, а не выбрать понравившееся число. Частые причины: тест шёл на части среза, в тот же месяц была акция, тест мерил другую метрику.
- Тест полезнее всего там, где интервал модели широкий: при узком интервале модели вес теста будет небольшим.

## Ограничения {#limits}

- Тест уточняет один срез и вложенные в него. Чтобы уточнить канал целиком, нужен тест на уровне канала.
- Пока эксперименты применяются только к основной связке «драйвер → зависимая».
- Тест — тоже оценка со своей погрешностью: короткий или старый тест мог поймать не тот эффект.

## Для любознательных {#math}

Эластичность теста на изменение бюджета: ε = ln(1 + эффект) ÷ ln(1 + изменение расхода). Погрешность берётся из интервала эффекта, стандартной ошибки или p-value; если их нет — грубо, ±50 % от эффекта.

Итог среза — среднее модели и теста с весами 1 ÷ погрешность²: ε = (ε₁w₁ + ε₂w₂) ÷ (w₁ + w₂), погрешность = 1 ÷ √(w₁ + w₂). Если тестов на одном срезе несколько, сначала они сводятся в одну оценку тем же способом.

## Связанные

- [Подключить эксперименты и рыночные ряды](https://marfor.pro/docs/model/external-data)
- [Надёжность и интервал эластичности: уверенность модели](https://marfor.pro/docs/how-it-works/model-trust/reliability)
- [Проверки модели: светофор](https://marfor.pro/docs/how-it-works/model-trust/checklist)
- [Экран результатов модели: что где](https://marfor.pro/docs/model/screen-results)
- [Эластичность: на сколько процентов меняется результат от бюджета](https://marfor.pro/docs/how-it-works/response/elasticity)