Ширина полосы P10–P90: от чего она зависит

Как получаются ±20 %: пример по шагам

Эластичность — на сколько процентов меняется результат, когда бюджет меняется на 1 %. Модель MARFOR знает её не точно, а с диапазоном: «скорее всего 0,30, но правдоподобно от 0,14 до 0,46». Из этого диапазона и вырастает полоса.

1. Ширина диапазона эластичности: 0,46 − 0,14 = 0,32.
2. Половина ширины — 0,16. Это основа полосы: ±16 % к P50.
3. Поправка на качество модели среза: при качестве 100 % множитель 1,0, при 0 % — 1,5. У нашего среза качество 50 %, множитель 1,25: 0,16 × 1,25 = 0,20.
4. Полоса ±20 %: при P50 = 10 000 получаем P10 = 8 000 и P90 = 12 000.

Такая полоса есть у каждой зависимой метрики — и в месяцах, где вы ничего не меняли. Она показывает, насколько модель уверена в этом срезе вообще.

Что расширяет полосу

От размера правки полоса почти не зависит, пока бюджет поднят меньше чем примерно в 3,5 раза или урезан не сильнее чем до 0,29 от базы; у слабой модели запас ещё больше. При правке сильнее полоса растёт и становится несимметричной: вверх шире, чем вниз.

У отношений — конверсии, CRR, среднего чека — полоса шире, чем у числителя и знаменателя. Нижняя граница — худшее сочетание: P10 числителя делится на P90 знаменателя. Заказы 900–1 100 при середине 1 000, визиты 45 000–55 000 при середине 50 000: конверсия в середине 2,0 %, нижняя граница 900 / 55 000 = 1,64 %, верхняя 1 100 / 45 000 = 2,44 %. У заказов и визитов ±10 %, у конверсии — около ±20 %.

Чего полоса не учитывает

• Ошибку прогноза базы. Сценарий стоит на прогнозе. Если прогноз промахивается на 15 %, полоса этого не покажет. Точность базы — в проверке прогноза на прошлых месяцах (как строится прогноз).
• Бюджеты, которых модель не видела. Если бюджет канала за два года колебался от 80 до 120 % от обычного, сценарий «−40 %» — продолжение кривой туда, где опыта нет. Полоса от этого шире не станет (где кривой нельзя верить).
• Дальность месяца. Ширина в процентах одинакова для ближнего и дальнего месяца. В штуках шире тот месяц, который сам больше.

Где это в MARFOR

• Карточка ячейки: цветная точка и «разбег ±N %» — половина ширины полосы. До ±10 % — зелёная, «Надёжно (управляемая метрика)»; до ±25 % — жёлтая, «Погранично»; шире — красная, «Ненадёжно (слабо управляемая метрика)».
• Там же — «Качество модели» в процентах; наведите курсор, и MARFOR покажет, из чего оно складывается.
• Диапазон эластичности среза — на странице результатов модели, колонка «ДИ 95%» в таблице срезов (Результаты модели).
• После правок полоса устаревает: «Пересчитать интервалы P10/P90» над таблицей.

Для любознательных

MARFOR считает, что эластичность равновероятно лежит где угодно в диапазоне от нижней границы до верхней (ширина Δ). Результат среза при правке бюджета в s раз растёт как s в степени эластичности, поэтому P10 результата — это результат при эластичности на 10 % диапазона, то есть на 0,4 · Δ ниже середины:

• граница от правки: P10 / P50 = s^(−0,4·Δ) при росте бюджета и s^(+0,4·Δ) при сокращении, проще — e^(−0,4·Δ·|ln s|); P90 — зеркально;
• пол полосы: половина = Δ / 2 × (1 + (1 − качество) / 2), P10 / P50 = 1 − половина, P90 / P50 = 1 + половина;
• берётся то, что шире. Пример ×10 при Δ = 0,32: e^(−0,4 · 0,32 · 2,303) = 0,745 — ниже пола 0,80, отсюда −26 %; сверху e^(+0,295) = 1,34 — выше пола 1,20, отсюда +34 %.

Правка шире пола, когда 0,4 · Δ · |ln s| > Δ / 2 × множитель, то есть |ln s| > 1,25 при сильной модели: s > 3,5 или s < 0,29.