Помогают ли драйверы прогнозу: проверка без бюджета
Коротко. Точный прогноз ещё не доказывает эластичность. MARFOR повторяет проверку без бюджета: если промах растёт больше чем на 1 п.п., бюджет действительно работает.
На этой странице
Ловушка: точный прогноз без эластичности
Проверка на скрытых месяцах говорит, хорошо ли модель угадывает будущее. Но угадать его можно и без бюджета — по уровню, тренду и сезонности. Если в скрытых месяцах бюджет почти не менялся, «Точный прогноз» ничего не говорит о том, как заказы отвечают на деньги.
Поэтому MARFOR повторяет ту же проверку, обучив модель без драйвера, и сравнивает промахи.
Пример на числах
| Месяц | Бюджет | Факт | С бюджетом | Без бюджета |
|---|---|---|---|---|
| июнь | 100 тыс. ₽ | 10 000 | 9 400 (−6 %) | 9 600 (−4 %) |
| июль | 100 тыс. ₽ | 11 000 | 11 500 (+5 %) | 11 550 (+5 %) |
| август | 60 тыс. ₽ | 9 000 | 9 500 (+6 %) | 10 800 (+20 %) |
| сентябрь | 130 тыс. ₽ | 12 000 | 11 300 (−6 %) | 10 440 (−13 %) |
- Пока бюджет обычный (июнь, июль), обе модели ошибаются одинаково мало.
- В августе бюджет урезали. Модель без бюджета этого не видит и ждёт 10 800 заказов — промах +20 %.
- В сентябре бюджет подняли — модель без бюджета недосчитала 13 %.
- Средний промах с бюджетом — 5,5 %, без него — 10,5 %. Разница 5,0 п.п. Вывод на экране: «помогает: без него промах больше на 5,0 п.п.». «Ближе к факту» — 3 из 4: в трёх месяцах прогноз с бюджетом точнее.
Вывод на экране
| Вывод | Когда | Что значит |
|---|---|---|
| «помогает: без него промах больше на N п.п.» | без драйвера промах больше на 1 п.п. и более | данные подтверждают, что драйвер двигает результат |
| «на точность не влияет: разница N п.п. — в пределах шума» | разница меньше 1 п.п. | проверка не подтвердила эффект — эластичность держится на модели |
| «не помогает: без него промах даже меньше на N п.п.» | без драйвера точнее на 1 п.п. и более | эластичности этого драйвера верьте меньше |
| «почти не меняет прогноз … — на N мес. такой вклад не проверить» | прогнозы с драйвером и без расходятся меньше чем на 1 % | бюджет в скрытых месяцах почти не менялся: проверять нечем |
Для драйвера модели, который не входит в эту связку, проверка обратная — «с ним»: «с ним прогноз точнее на N п.п. — стоит проверить его в связке» или «…добавлять не нужно».
Как устроена таблица
- «Драйвер» и его роль: «основной драйвер связки», «второй драйвер связки» или «в связку не входит — стоит ли добавить».
- «Промах с ним» и «Без него» — средние промахи двух моделей на скрытых месяцах.
- «Ближе к факту» — в скольких скрытых месяцах прогноз с драйвером ближе к факту.
- «Вывод» — фраза из таблицы выше. Пометка «модель сошлась плохо — вывод предварительный» — не опирайтесь на него.
- «Помесячно: с драйвером и без» — свёрнутые подробности. Там же предупреждение, если драйвер меняется вместе с основным: «их вклады трудно разделить».
Если проверка не считалась, экран пишет почему: «драйвера нет в данных модели», «в срезах модели почти всегда 0», «в обучающих месяцах не меняется», «Вклад драйверов не проверялся: панель … больше порога…» — у моделей больше 30 000 наблюдений.
Что это меняет в решениях
- «Помогает» — можно перекладывать бюджет по эластичностям модели.
- «На точность не влияет» или «почти не меняет прогноз» — сценарии посчитаются, но эффект бюджета в них — оценка модели без подтверждения. Сравнивайте варианты, не обещайте цифру. Подтвердить эффект поможет тест: поднимите или урежьте бюджет в части регионов и подключите результат.
- «Не помогает» — проверьте драйвер: тот ли это бюджет, не отношение ли, не записан ли он не там (выбор драйвера).
Ограничения
- Проверка что-то доказывает, только если бюджет в 3–6 скрытых месяцах менялся. Ровный бюджет даёт «почти не меняет прогноз», даже если реклама работает.
- Разница в 1–2 п.п. на четырёх месяцах — слабое доказательство. Уверенный вывод дают несколько пунктов и «Ближе к факту» в большинстве месяцев.
- У вторичных связок на вкладках есть ещё строка сверки: одна эластичность связки на все срезы против оценки по срезам. Если экран пишет «выше этого интервала» — эффект драйвера в сценариях, скорее всего, завышен.
Термины на этой странице: Помогают ли драйверы прогнозу, Проверка на скрытых месяцах, Драйвер, Эластичность
Обновлено 14 октября 2026