Где кривой отклика нельзя верить: бюджеты, которых не было

Пример на числах

Канал «Контекст» два года тратил от 80 000 до 125 000 ₽ в месяц. Сейчас — 100 000 ₽ и 1 000 заказов. Возьмём три формы кривой: плавную, по которой сценарий считает по умолчанию, форму с потолком и S-образную. На бюджетах из истории их почти не отличить, поэтому история не может сказать, какая из них верна. Спросим у каждой про разные бюджеты:

Сценарий покажет одно число — по форме, которую выбрала модель. Таблица показывает, сколько в этом числе зависит от формы, которую данные подтвердить не могут. Внутри опыта — почти ничего. При глубоком сокращении — больше трети. Расчёт за краем опыта называют экстраполяцией: формула продолжается туда, где данных не было.

Что это меняет в решениях

• Небольшие шаги рядом с опытом — опирайтесь на сценарий. +10 % к бюджету, который уже бывал, — расчёт надёжен настолько, насколько надёжна сама модель.
• Большой скачок за край опыта — гипотеза. Удвоить бюджет или срезать вдвое, если такого никогда не было, — проверяйте шагами: поднимите на 20–30 % на месяц-два и сравните факт со сценарием. Или проведите эксперимент — например, в части регионов.
• Глубокое сокращение — самая неизвестная часть кривой. Бюджеты около нуля у работающего канала почти никогда не встречаются в истории.

Где это видно в MARFOR

• MARFOR не отмечает на экране, где кончается ваш опыт. Сценарий и оптимизатор посчитают любой бюджет. В оптимизаторе задавайте ограничения по каналам — иначе он может предложить бюджет, которого у канала никогда не было.
• Коридор P10–P90 не знает, где кончается опыт. Он учитывает, насколько модель не уверена в эластичности, и растёт с размером правки, но за краем истории не становится шире сам по себе. Подробно — узел P10–P90.
• Калькулятор и окно 📈 на странице результатов — они есть, только если модель нашла потолок отдачи, — тоже не показывают, какие бюджеты были в истории.

Как проверить самому

1. Найдите край опыта. Самый маленький и самый большой месячный бюджет канала за историю — в своей таблице или на графике факта в «Результатах прогноза».
2. Сравните с планом. План внутри — опирайтесь на сценарий. Снаружи — считайте число гипотезой. Мерка «насколько далеко»: план ÷ минимум или план ÷ максимум. 60 000 ÷ 80 000 = 0,75 — на четверть ниже всего, что было.
3. Проверьте, менялся ли бюджет вообще. Если бюджет канала почти не двигался, модели не на чем было учиться. Это видно по широкому интервалу эластичности на странице «Результаты анализа эластичности».
4. Большой шаг — проверьте на деле. Шагами или экспериментом, как выше.

Для любознательных

Почему формы совпадают внутри опыта: все три проходят через точку «сейчас» с одинаковым наклоном — эластичностью 0,3. На узком отрезке от 80 до 125 тыс. ₽ любая гладкая кривая похожа на прямую с этим наклоном. Формы различаются изгибом, а изгиб на узком отрезке почти не виден — его заглушает обычный разброс данных.

Формулы для графика:

• плавная — 1 000 × (бюджет ÷ 100 000) ^ 0,3;
• с потолком — 1 000 × (f(бюджет) ÷ f(100 000)) ^ 0,6, где f(x) = x ÷ (1 + x ÷ 100 000);
• S-образная, только для сравнения, MARFOR ею не считает, — 1 250 × x ^ 1,5 ÷ (x ^ 1,5 + 39 700 ^ 1,5).