Проверки модели: светофор
Коротко. Все проверки модели на экране результатов с порогами — что считать нормой, что проверить, когда модели верить нельзя и что тогда делать.
На этой странице
Пример: одна модель, семь проверок
Модель «Расходы → Заказы», два года помесячно, срезы «Регион → Канал». Пройдём её проверки по порядку экрана.
- Средний промах на скрытых месяцах — 5,5 %, «Точный прогноз». Норма.
- Смещение — промахи то вверх, то вниз, в среднем −0,4 %. Строки «модель завышает» нет. Норма.
- Промах крупного среза — у «Регионов» (35 % объёма) 22 %, жёлтым. Проверить: по «Регионам» планировать рано, по стране целиком — можно.
- Помогают ли драйверы прогнозу — «помогает: без него промах больше на 5,0 п.п.». Норма: бюджет действительно двигает заказы.
- Интервал эластичности — 0,24…0,36, «узкий», ноль не задевает. Норма.
- Надёжность — 78, «Высокая». Норма.
- Бюджет плана — 150 тыс. ₽, а в истории было от 80 до 125 тыс. Проверить: за краем опыта кривая — догадка.
Итог: планировать можно, но на уровне страны, а бюджет поднимать шагами и сверять с фактом.
Пороги
| Проверка | Где на экране | Норма | Проверить | Плохо | Что делать |
|---|---|---|---|---|---|
| Средний промах | «Проверка модели на скрытых месяцах», крупная цифра | до 20 %: «Точный», «Хороший прогноз» | 20–50 %: «Приемлемо» | от 50 %: «Неточный прогноз» | Улучшить модель |
| Смещение | под таблицей по месяцам | строки нет | «В среднем модель завышает (занижает) на N%» — от 10 % | — | найти событие в последних месяцах |
| Промах крупного среза (от 5 % объёма) | «Промах по срезам» | до 20 %, зелёный | 20–50 %, жёлтый | от 50 %, красный | планировать уровнем выше |
| Вклад драйвера | «Помогают ли драйверы прогнозу» → «Вывод» | «помогает» | «на точность не влияет», «почти не меняет прогноз» | «не помогает» | тест на шаге 6 мастера |
| Интервал эластичности | под числом на карточке и в таблице срезов | «узкий» | «умеренный» | «широкий» или задевает ноль | двигать бюджет небольшими шагами |
| Надёжность | карточка «Marketing Mix Model» | от 50: «Хорошая», «Высокая» | 30–49: «Средняя» | ниже 30: «Низкая» | смотреть на проверку, а не на балл |
| Вид проверки | первая строка блока проверки | «Спрятали последние N мес.» | «Отложили часть строк (не по времени)» | «Проверки нет — есть только подгонка» | история от 11 периодов |
| Бюджет плана | на экране нет — сравните с историей сами | внутри бюджетов, которые были | за краем опыта | — | Где кривой нельзя верить |
Цвета промаха по месяцам и по срезам на экране те же: до 20 % — зелёный, 20–50 % — жёлтый, от 50 % — красный.
Как читать проверки вместе
- Точный прогноз, драйвер «помогает», узкий интервал — модели можно доверить бюджет.
- Точный прогноз, драйвер «на точность не влияет» — модель угадала месяцы трендом и сезонностью, эластичность не подтверждена. Сравнивайте варианты «больше или меньше», но не обещайте цифру.
- Высокая надёжность, плохая проверка — модель хорошо описала прошлое, а рынок изменился. Ищите, что произошло в последних месяцах.
- Хорошая общая цифра, плохой крупный срез — планируйте на уровне выше или по самому точному крупному срезу: экран его подсказывает.
Чего проверки не покажут
- Бюджеты, которых не было. Проверка идёт на настоящих бюджетах скрытых месяцев. Сценарий «−40 %» — продолжение кривой туда, где опыта нет, и полоса P10–P90 там не расширяется.
- Короткий экзамен. У дневной модели прячутся 6 последних дней, у недельной — 6 недель: сезон в них не попадает. Для бюджета надёжнее месячная модель.
- Отложенный эффект. Прибавка от правки бюджета набирается месяцами — это видно в сценарии, а не в проверке: Адсток.
Где ещё видно качество
В карточке значения на странице сценария есть «Качество модели» в процентах — у него своя шкала: от 70 — «Высокая», от 40 — «Средняя». Он учитывает и промах проверки, поэтому может не совпадать с «Надёжностью» на экране модели. Чем отличаются шкалы — Надёжность и интервал эластичности.
Термины на этой странице: Проверка на скрытых месяцах, Смещение прогноза, Промах среза, Помогают ли драйверы прогнозу, Интервал эластичности, Надёжность модели, Диапазон опыта / край опыта
Обновлено 14 октября 2026